평가와 벤치마크
커리어 전환기 3편 - 줄여서 닫는 법
장비 회수로 끝난 6주와 줄여서 닫은 인수인계의 기록
재현율 0.45, 검색기를 고치기 전에 빠진 22건을 열어봤다
팀 메모리 시스템(Hindsight)으로 쓴 보고서의 활동 재현율이 목표 0.95에 크게 못 미쳤다. 검색기를 손보기 전에 분모부터 열자 빠진 22건 중 진짜 손실은 1건이었다.
커리어 전환기 2편 - 정직한 상한
로컬 AI 조직에서 장비 상한과 지표 분모를 다시 잰 5월의 기록
통화 기록의 행을 그대로 세니 통화가 40% 부풀려졌다
통화 SaaS가 내보낸 원천 테이블의 행을 그대로 세면 통화 건수가 약 40% 부풀려졌다. 그 숫자가 영업사원 역량 평가의 분모로 들어갈 예정이었다.
표본 17건으로는 0.021 차이를 승자로 부를 수 없었다
한국어 임베딩 세 후보(arctic-ko, KURE-v1, BGE-m3-ko) 중 KURE-v1이 0.021 앞섰지만 표본이 미리 얼려둔 최소치에 못 미쳤다. 규칙을 고치지 않고 승자 없음으로 닫았다.