자기 진단 네 건을 뒤집고 뒤집은 절차에 이름을 붙였다

2026년 8월 한 달 사이에 내가 내린 판정 네 건이 뒤집혔다.
넷 다 판정을 적어 둔 뒤에도 그 판정을 다시 여는 절차가 있어서 뒤집혔다.

문제

자기 진단은 반증하기 어렵다.
근거를 고른 쪽과 판정을 내린 쪽이 같아서 반박할 사람이 자리에 없다.
게다가 판정은 원장에 한 줄로 적히는 순간 다음 작업의 전제가 된다.
전제가 된 문장은 누가 다시 열지 않는 한 계속 맞는 것처럼 굴러간다.

아래 네 건은 그 다시 여는 일이 실제로 일어난 사례다.
넷은 뒤집힌 이유가 서로 다르고 각각을 뒤집은 절차에도 다른 이름이 붙는다.
넷 중 셋은 근거가 무너져 뒤집혔고 나머지 하나는 결과가 너무 좋아서 뒤집혔다.

판정 셋이 저마다 다른 이유로 무너졌다

협정 세계시로 찍힌 로그를 현지 시각으로 읽었다

2026-08-27, 코딩 에이전트 런타임 omo의 모델 라우팅 폴백을 3단으로 재편했다.
그중 2순위 칸이 죽어 있다고 판정했다. 상류가 무료 스텔스 프리뷰 모델을 돌려 가며 내리는 바람에 그 칸이 가리키던 모델이 사라진 것으로 봤다.
판정의 근거는 세션 로그에 찍힌 시각이었다.
그 로그는 협정 세계시로 기록되는데 나는 그것을 현지 시각으로 읽었다.
시각이 어긋난 것을 확인하고 그 판정을 스스로 무효화했다.

칸은 결국 제거됐다. 다만 무효화된 판정이 아니라 별도 근거로 제거됐고 폴백은 2단으로 줄었다.
결론이 같아도 근거가 무너진 판정은 근거를 다시 세운 뒤에 쓴다.
같은 결론에 두 번 도착한 것을 판정 한 건이 두 번 맞았다고 세면 원장이 부풀기 때문이다.

기각 판정이 조사가 끝나기 전에 만료됐다

2026-08-10, 캐시 낭비의 원인 후보 하나를 이미 기각해 둔 상태였다.
조사가 진행되는 동안 그 런타임인 omo의 설치본이 업데이트로 교체됐다.
전역 업데이트가 배포 트리를 통째로 갈아 끼우는 종류였고, 그 위에 얹어 둔 로컬 패치도 같이 사라지는 구조였다.

교체된 설치본에서 다시 재자 앞선 기각이 뒤집혔다.
같은 날 그 후보에 패치가 붙었다.
기각을 내릴 때 쓴 근거는 그때의 설치본에 묶여 있었고, 설치본이 바뀌자 근거도 같이 만료됐다.
조사가 길어질수록 이 종류의 만료가 생긴다.

앞 구간 기록이 반례로 서 있었다

2026-08-09, 컨텍스트가 30만 토큰 지점을 넘으면 성능이 떨어진다는 것을 상시 현상으로 적어 뒀다.
같은 날 그 진단을 적대적으로 재검증했다.
나를 반박하는 쪽에 서서 근거를 다시 뒤지는 일이고, 보통의 검토와 달리 반증을 목표로 잡는다.

7월 13일부터 25일까지의 구간에 최대 150만 토큰 컨텍스트에서도 정상 동작한 세션 기록이 있었다.
상시 현상이라는 주장은 그 한 구간으로 무너진다.
같은 재검증에서 자기 진단 두 건이 함께 기각됐다.

내 벤치가 mem0에 0.0을 줬다

2026-08-25, 내가 만든 메모리 벤치가 비교 대상인 메모리 제품 mem0의 조회 정확도를 0.0으로 매겼다.
같은 항목에서 내가 채택해 쓰는 오픈소스 Hindsight는 만점이었다.
이 결과는 내게 유리했고 그래서 더 위험했다.
자체 벤치가 비교 대상 제품에 0.0을 주면 가능성은 둘이다. 제품이 정말 그런 것이거나, 벤치가 그 제품을 잘못 부르고 있는 것이다.
확인은 어댑터를 여는 것으로 시작했다. 남의 제품을 부르는 코드는 벤치 안에서 어댑터 하나뿐이다.

사용자 범위를 넘기는 인자 형태가 틀렸다

mem0의 검색 호출에서 사용자 범위는 필터 인자로 넘긴다.
내 어댑터는 그 범위를 별도 인자로 넘기고 있었다.
그 형태에서는 범위가 적용되지 않는다. 기록은 저장되는데 조회가 아무것도 찾지 못하는 상태가 만들어진다.
그 0.0은 mem0의 조회 성능보다 내 호출 형식을 잰 값이었다.
호출 형식을 고치고 같은 벤치의 같은 문항으로 다시 쟀다.
조회 정확도는 8건 중 8건 대 8건 중 8건으로 같아졌다. 벤치의 조회 시나리오 한 종을 8문항으로 채점한 값이다.

이 건에서 절차라고 부를 만한 것은 하나다.
결과가 내게 유리할수록 원인을 먼저 판다.
불리한 결과는 어차피 원인을 파게 된다. 파지 않으면 내 것이 나쁜 채로 남기 때문이다.
유리한 결과에는 그 압력이 없다. 성과로 챙기고 넘어가도 항의하는 사람이 없다.
자기가 만든 벤치의 숫자를 인용할 자격은 그 확인을 통과한 다음에 생긴다.

무엇이 뒤집었는가

뒤집힌 판정	뒤집은 절차	판정이 무너진 지점
폴백 2순위는 죽은 칸이다	원본 로그의 시각 규약 확인	로그가 협정 세계시로 찍힌다
캐시 낭비의 원인 후보 하나를 기각한다	조사 구간의 설치본 고정 여부 확인	조사 도중 설치본이 교체됐다
컨텍스트 절벽은 상시 현상이다	적대적 재검증	앞 구간에 더 큰 컨텍스트의 정상 기록이 있었다
mem0의 조회 정확도는 0.0이다	유리한 결과일수록 원인을 먼저 파기	어댑터가 사용자 범위를 잘못 넘겼다

네 절차는 서로 다르지만 걸리는 시점이 같다. 전부 판정을 내린 다음에 작동한다.
판정 앞에 붙는 검사는 근거를 모으는 일이고, 판정 뒤에 붙는 검사는 이미 쓴 문장을 다시 여는 일이다.
뒤쪽은 아무도 요구하지 않는다. 절차로 만들어 두지 않으면 그냥 일어나지 않는다.

결론

넷 중 도구를 바꿔서 풀린 건은 하나도 없다.
바뀐 것은 판정 하나가 얼마나 오래 열려 있느냐였다.
재검증은 성실함보다 판정을 내린 뒤에도 그것을 다시 열 절차를 남겨 뒀는지에 달려 있다.

갈림길은 결과가 내게 유리할 때다.
불리한 결과 앞에서 원인을 파는 것은 손해를 줄이는 일이라 저절로 굴러간다.
유리한 결과 앞에서 같은 일을 하려면 규칙이 따로 있어야 한다.
판정은 내리기 쉽고 다시 열기는 어렵다.
그 어려운 쪽을 절차로 적어 둔 덕에 2026년 8월 한 달에만 판정 네 건이 다시 열렸다.

한계·재검토 트리거

2026-09 기준 / 재검토 트리거: 이 원장에서 정정 없이 반년을 넘긴 자기 진단이 뒤늦게 오진으로 확인되면 정정이 작동했다는 이 글의 판정을 다시 연다.