관측
표준이라던 TEI 추론 서버가 내 맥에서는 10배 느렸다
개인 메모리 검색을 죽이던 리랭킹 35~55초를 표준 해법인 TEI로 고치려다 실측에서 기각했다. 채택 근거는 벤더가 발표한 수치가 아니라 내 기계에서 나온 숫자다.
18건 저장 성공이라던 보고, 실제 저장은 0건이었다
개인 메모리뱅크(Hindsight-Crew)에 기록 18건을 저장하는 호출이 전부 실패했는데 에이전트의 보고는 성공이었다. 발각은 자동 검증이 아니라 사람의 지적이었다.
재현율 0.45, 검색기를 고치기 전에 빠진 22건을 열어봤다
팀 메모리 시스템(Hindsight)으로 쓴 보고서의 활동 재현율이 목표 0.95에 크게 못 미쳤다. 검색기를 손보기 전에 분모부터 열자 빠진 22건 중 진짜 손실은 1건이었다.
통화 기록의 행을 그대로 세니 통화가 40% 부풀려졌다
통화 SaaS가 내보낸 원천 테이블의 행을 그대로 세면 통화 건수가 약 40% 부풀려졌다. 그 숫자가 영업사원 역량 평가의 분모로 들어갈 예정이었다.
80년 동안 수학자들이 풀지 못한 문제를, AI가 혼자 반증했다
에르되시의 unit distance 추측을 모델이 자율 반증했다. 검증이 가장 엄격한 도메인에서 AI가 '발견자'로 인정받은 순간.