결정 규칙은 결과를 보기 전에 얼려야 규칙이다

질문

세 후보 중 하나가 0.021 앞섰다.
이 숫자로 무엇을 결정할 수 있는가?

실험은 승자를 뽑으려고 돌린다.
앞선 후보가 나오면 갈아끼운다.
이 반응은 그 차이가 잡음보다 크다는 가정 위에서만 성립한다.
그 가정의 기준을 결과보다 먼저 정해뒀는가?

판정

결정 규칙을 실행 전에 얼려두고, 표본이 그 규칙의 최소치에 미달하면 앞선 숫자가 있어도 승자를 고르지 않는다.

규칙은 네 조건의 곱이었다.
지표는 MRR(평균 역순위)이다.
ΔMRR>0, 신뢰구간 하한>0, p<0.025, N≥30.
세 후보를 한 번에 비교하므로 유의수준에 Bonferroni 보정을 걸었다.
실행 전에 설계를 자체 완결 명세로 등록하고 값을 박았다.

결과는 A 0.804, B 0.825, C 0.810이다.
B가 0.021 앞섰고 p는 0.36이었다.
표본은 17건으로 규칙이 요구한 30에 못 미쳤다.
네 조건 중 첫 항만 통과했다.
판정은 하나로 떨어진다. 승자 없음, 기존 유지.

이건 B가 나쁘다는 뜻이 아니다.
이 표본으로는 B가 나은지 말할 수 없다는 뜻이다.

근거

잡음의 크기를 먼저 재뒀다

사전 조사에서 모델이 크면 점수가 높다는 순서가 한국어 검색에서 깨졌다.
같은 조사에서 리더보드 점수차 1.38pt를 noise floor로 판정해뒀다.
Δ +0.021은 그 바닥보다 아래다.
실험 뒤에 이 판단을 했다면 결과에 맞춘 해석이었다.

동률 37건이 말한 것

51 paired query 사후 심층
동률 37건 - 세 후보가 같은 순위를 냄
B 우위 - 한 개 전략 구간에서만 발생

실험이 잰 것은 임베딩의 차이가 아니라 코퍼스의 해상도다.
17건짜리 코퍼스에서 세 후보는 대체로 같은 답을 낸다.
필요한 규모를 역산하니 117건이 나왔다.
이 실험이 닫힌 뒤로 검색 성능을 임베딩 교체로 푸는 경로는 후보에서 빠졌다.

규칙을 사후에 고치면 무엇이 사라지는가

N≥30을 15로 내리거나 p<0.025를 0.05로 풀면 그날 B가 이긴다.
그렇게 얻은 승자는 실험의 산출이 아니라 규칙 조정의 산출이다.
얼려둔 규칙의 값은 결과가 마음에 들지 않는 순간에만 발생한다.
결과를 보기 전에는 아무 값도 하지 않는다.

한계·재검토 트리거

표본은 17건이고 실행은 1회차다.
이 판정은 임베딩 교체가 무의미하다는 결론이 아니다.
이 표본으로는 말할 수 없다는 상태다. 둘은 같지 않다.

얼려둔 규칙 자체가 옳았는지는 이 실험이 답하지 않는다.
N≥30은 관례에서 가져온 최소치다.
실제로 필요한 규모는 실험이 끝난 뒤에야 117로 계산됐다.
설계 단계에서 그 역산을 먼저 했다면 실험을 미뤘다.
얼린 규칙이 막은 것은 잘못된 승자이지 잘못된 실험 시점이 아니다.

2026-09 기준 / 재검토 트리거: 코퍼스가 117건을 넘긴 상태에서 같은 규칙으로 3-way를 다시 돌려 어느 후보든 네 조건을 전부 통과하면 이 판정을 다시 연다.