질문
리더보드에서 A 가 B 보다 높다. 이 점수차로 프로덕션 모델을 교체할 수 있는가.
판정
할 수 없다. 교체 판단을 만드는 것은 사전 동결한 decision rule 과 자기 워크로드 실측이다.
근거
점수차가 노이즈였던 사례. 한국어 임베딩 리더보드의 상위 모델 점수차가 1.38pt 였다.
벤치마크만으로는 RAG 스택 모델 교체를 판단할 수 없는 상태였으므로 3-way A/B 를 설계했다.
모델 선정 의사결정을 마감했다
- 대상: arctic-ko vs KURE-v1 vs BGE-m3-ko
- decision rule 을 실험 전에 동결했다: Bonferroni α=0.025, 지표는 MRR
- 90 쿼리 6 전략, self-retrieval 무결성 검증 포함
- 결과: 전 pair 통계 유의성 미달 + 표본 부족 → underpowered 정직 판정
- 결론: "교체 근거 없음"으로 기존 모델 유지. 리더보드·커뮤니티 시그널·자체 실험 3중 크로스체크로
여기서 산출물은 새 모델이 아니라 교체하지 않는다는 근거 있는 결정이다. rule 을 나중에 정했다면
같은 데이터로 "우리 워크로드에서는 A 가 낫다"를 만들 수 있었을 것이고, 그건 측정이 아니라 사후 서사다.
점수가 아니라 배포 형태가 갈랐던 사례. 리랭커 선택은
/Users/bkan/workspace/Hindsight-Crew/docs/plans/2026-07-26-rerank-mps-cutover.md 에 ADR 로 남아 있다.
같은 모델(BAAI/bge-reranker-v2-m3)을 두고 대안을 이렇게 기각했다.
- 공식 TEI 바이너리 1.9.3 Metal: 같은 모델에서 근사 10배 느림(60쌍 2.4s, 워스트 54.7s) → 기각
- 외부 리랭크 API: 개인 기억 원문의 외부 전송이 되어 → 기각
- 리랭킹 끄기(rrf): 품질 하락 → 기각
- VM 튜닝: 효과 제한 → 기각
선택은 자체 FastAPI 사이드카(sentence-transformers CrossEncoder, device=mps fp16, batch 32,
revision 953dc6f6f85a1b2dbfca4c34a2796e7dde08d41e)였고, 결과는 무필터 recall 왕복
55.8s → 1.19~1.24s, 리랭크 구간 1.08s(후보 99~103개)다. 왕복 기준 약 45~47배다.
축을 섞지 않는 규율이 이 수치를 지킨다.
당시 수용 기준 실패의 원인이었다. 자기 데이터로 재실측하지 않으면 계획이 틀린다
- 55.8s 는 왕복 실측이므로 리랭크 구간 1.08s 와 나눠 배수를 만들지 않는다. 같은 축끼리만 비교한다
- 공식 TEI 벤치(60쌍 2.4s)는 코퍼스와 측정 지점이 달라 대안 기각 근거로만 인용하고 정밀 배수에 넣지 않는다
- 벤치 코퍼스 4ms/후보 vs 실제 뱅크 텍스트 23ms/후보. 계획 기준선이 비대표 벤치 코퍼스였던 것이
- batch 64 는 2.42s 로 batch 32 보다 악화했다. 큰 배치가 항상 빠르다는 상식이 이 조건에서는 거짓이었다
교체 자유도 자체가 모델마다 다르다. /Users/bkan/workspace/Hindsight-Crew/README.md 기준으로
임베딩 모델은 곧 벡터 차원이라 boot-0 에 잠긴다. 데이터 적재 후 프로파일을 바꾸면 전체 재색인이나
폐기가 강제된다. 반면 리랭커는 차원에 묶이지 않아 언제든 핫스왑이 가능하다.
그래서 "무엇을 고르는가"보다 "언제 잠기는가" 가 먼저 결정돼야 한다.
공개 리포: https://github.com/Bkankim/Hindsight-Crew
한계·재검토 트리거
3-way A/B 는 90 쿼리로 underpowered 였다. 유의차가 없다는 결과는 "차이가 없다"의 증명이 아니라
"이 표본으로는 판단할 수 없다"는 기록이다. 사이드카 수치는 단일 맥 호스트 MPS fp16 의 실측이고,
후보당 10.6ms 는 실제 뱅크 텍스트 코퍼스에 묶인 값이다. 하드웨어·코퍼스가 바뀌면 전부 다시 재야 한다.
2026-08 기준 / 재검토 트리거: (1) 쿼리 표본을 늘려 사전 동결 rule 하에서 유의차가 확보되면
모델 교체를 다시 판단한다. (2) 임베딩 차원이 바뀌는 프로파일 전환이 필요해지면 재색인 비용을 포함해
결정을 다시 만든다. (3) 리랭커 하드웨어나 코퍼스가 바뀌면 후보당 지연 가정을 폐기하고 재실측한다.