재현율 0.45는 검색의 성적이 아니었다

질문

지표 하나가 목표에 미달했다.
그 숫자는 무엇의 성적인가?

미달을 보면 측정 대상을 고친다.
검색 재현율이 낮으면 검색을 손본다.
이 반응은 분모가 옳다는 가정 위에서만 성립한다.
그 가정을 검사한 적이 있는가?

판정

미달 지표를 받으면 측정 대상을 고치기 전에 누락 목록을 전수로 열어 분모 정의부터 검증한다.

팀 메모리 시스템의 활동 재현율을 사람이 직접 채점했다.
0.45가 나왔다. 목표는 0.95였다.
같은 채점에서 환각률은 0이고 구조 적합도는 1.0이었다.
보고서가 지어낸 문장은 없었고 형식도 맞았다.
틀린 것은 빠진 것뿐이었다.

빠진 22건을 한 건씩 열었다.
진짜 누락은 1건이었다.
0.45는 검색이 나쁘다는 신호가 아니다.
그날 남은 기록 전부를 보고서에 들어갈 항목으로 셌다는 뜻이다.

근거

검색을 고치는 길은 이미 막혀 있었다

숫자만 보면 길은 하나로 보인다.
재현율이 낮으니 검색을 손본다. 임베딩을 갈아끼운다.
그 길은 이미 걸어본 뒤였다.
임베딩 비교는 사전에 얼려둔 규칙대로 결론 없음으로 닫혔다.
재현율은 기록이 쌓일수록 나빠졌다.
검색 품질을 올려서 되돌아오는 곡선이 아니었다.

남은 방법은 세는 것이었다

빠진 22건을 열어 그중 몇 건이 실제 손실인지 확인했다.

빠진 22건 개봉 결과

의도적 제외 21건 - 도구 설치, 플러그인 손질, 리서치 메모, 형상관리 잡무
진짜 손실 1건 - 전략 항목

21건은 보고에 올릴 항목이 아니라서 내가 뺀 것들이다.
버그가 아니라 설계였다.

분모를 바꾸면 성적이 뒤집힌다

같은 시스템, 같은 보고서, 같은 채점 회차다.
바꾼 것은 분모 하나다.

분모 = 그날 남은 기록 전부
빠진 항목 22건, 활동 재현율 0.45, 고칠 대상은 검색기

분모 = 보고에 들어가야 할 항목
빠진 항목 1건, 고칠 대상은 항목을 가르는 분류기

그래서 고칠 대상이 바뀐다. 검색기가 아니라 항목을 가르는 분류기다.

전수 개봉에 든 값은 22건을 여는 시간이었다.
임베딩을 갈아끼우고 다시 평가하는 값보다 쌌다.
미달 지표를 받았을 때 먼저 치러야 할 값은 이쪽이다.

한계·재검토 트리거

채점자는 한 사람이고 대상은 보고서 한 편이다. n=1이다.
이 판정이 말하는 것은 분모를 먼저 의심하라는 순서다.
1/22라는 비율이 아니다. 비율은 다음 회차에서 얼마든지 달라진다.

전수 개봉이 싼 조건이 하나 더 있다.
빠진 항목의 맥락을 아는 사람이 열어야 한다.
보고서를 쓴 사람이 나였기 때문에 22건을 열자마자 어느 것이 의도적 제외인지 갈렸다.
남의 보고서였으면 같은 작업이 훨씬 비쌌다.

2026-09 기준 / 재검토 트리거: 항목 분류기를 붙인 뒤 채점한 보고서가 세 편 이상 쌓였을 때 진짜 누락 비율이 첫 회차의 1/22보다 높게 나오면 이 판정을 다시 연다.