Hindsight
19편의 기록
'기억하지 마'는 위임 한 단계를 넘지 못했다
기억 사용을 금지한 세션에서 메인 에이전트는 직접 저장을 한 번도 하지 않았다. 그런데 일을 넘겨받은 aside 하위 세션은 공용 지침대로 기억을 남겼고, 사흘 뒤 다른 세션에서 같은 누수가 다시 났다. 남은 기록은 지웠고 막는 장치는 만들지 않았다.
기억한 실수를 길목에 놓았다
규칙도 기억도 있었는데 에이전트는 같은 유형의 오판을 다시 저장했다. 기억이 꺼내야만 나오는 구조였기 때문이다. 그래서 실수가 나는 길목에서 기억을 자동으로 꺼내 붙이는 장치를 Hindsight-Crew에 만들었고, 그 장치의 완료 보고는 검증 표본이 운영과 달라 세 번 뒤집혔다.
에이전트가 '완료'라고 적은 것들
9월 말부터 10월 초까지 에이전트가 '완료'·'반영'·'승인'을 두고 남긴 기록 가운데 틀린 것들을 누가 잡았는지로 묶었다. 다른 모델의 재검수, 내 질문, 다른 기록과의 대조가 잡았고, 아직 고쳐지지 않은 것도 남아 있다. 그 뒤 생긴 규칙 중 다음 실행에서 실제로 돈 것이 확인된 것은 기계 점검으로 바꾼 둘이다.
벤치에서 빨랐던 리랭크 설정을 7일 카나리가 되돌렸다
Hindsight-Crew의 리랭크 배치 300은 복제본 벤치에서 PASS를 받았다가 보류로 고쳐졌고, 운영 7일 카나리에서 cold 초과율과 warm p99에 걸려 롤백됐다. 그 판정은 롤백 규칙을 배포 전에 코드에 묶어 둔 판정기에서 나왔다.
같은 함정을 여섯 번 적었다
aside 브라우저에 뷰포트를 바꾸는 함수가 없다는 사실이 서로 다른 날 여섯 번 기록됐다. 기록은 대부분 aside 자기 메모리에 갇혀 있었고, 공유 뱅크에 있던 기록도 다음에 부딪힌 쪽이 먼저 읽지 않았다. 런타임 메모리는 retain을 대체하지 않는다는 조항을 넣었지만, 그 조항의 계기는 다른 사건이었고 효과는 아직 한 번 관측됐다.
자기 진단 네 건을 뒤집고 뒤집은 절차에 이름을 붙였다
라우팅 폴백 판정, 캐시 조사의 기각 판정, 컨텍스트 절벽 진단, 비교 대상 제품에 0.0을 준 벤치 결과까지 자기 진단 네 건이 뒤집힌 기록과 각각을 뒤집은 재검증 절차
에이전트가 쓴 기록에 등급을 매기려고 증거 종류를 셋으로 늘렸다
석 달 치 작업 이력을 사료로 정리하면서 실측과 구술 2분법이 서지 않는 자리를 찾고, 에이전트 자기 기록을 세 번째 범주로 세운 기록
검색을 잃은 오후, 인수인계 스코프를 15분에 세 번 고쳐 썼다
팀 메모리 시스템의 백엔드 장비가 회수돼 시맨틱 검색이 끊긴 날, 로컬 덤프와 클라우드 드라이브의 파일 수정 시각으로 재직 전 구간의 타임라인을 다시 세운 기록
개인·팀·전사 3단 승격을 설계하고 팀 단계에서 서버를 잃었다
검색 본체보다 그 본체를 만드는 과정의 기억을 먼저 세웠고, 팀 배포를 위해 권한 게이트웨이를 경유하는 번들 여섯 벌을 만들어 검증한 뒤 서버 유실로 승격 단계를 잃은 기록
기록 279건에 심리 서술이 0건이었고 원인은 저장 규율이었다
업무용 메모리 뱅크 한 곳의 원장을 사료로 읽고, 그 안의 빈칸을 도구 이전·원천 소멸·규율 밖 세 종류로 갈라 판정한 기록
38일 동안 쌓인 2,134건 중 경험은 29건이었다
개인 메모리 뱅크 38일 구간의 저장 종류별 분포를 전량 조회로 실측하고, 경험 기록의 저수율을 입력 형태가 만든 편향으로 판정한 기록
인자 없이 부른 조회 하나가 883,735자를 돌려줬다
도구 기본값이 에이전트 컨텍스트를 삼키는 두 방향을 실측하고, 읽기 인자 가드를 거부 의미론으로 확정한 기록
다섯 런타임이 같은 뱅크에 쓰는 동안 검증 기준선을 다시 잡았다
코딩 에이전트 런타임 다섯이 하나의 게이트웨이와 하나의 뱅크를 공유하는 환경에서, 다른 세션의 정상 쓰기를 실패로 처리하지 않고 귀속과 재기준선으로 다루는 네 가지 규율
태그 어휘 241종을 158종으로 접었다
같은 뜻으로 갈라진 태그가 조회를 조용히 새게 했다. 별칭 68쌍을 정책에 선언해 서버가 저장 시점에 한 번 고치도록 바꾸고, 개인 뱅크를 이틀에 걸쳐 라이브로 재태깅한 기록
CLAUDE.md를 243줄까지 불렸다가 77줄로 깎았다
에이전트 지침 파일에 기억을 밀어 넣다 실패하고, 메모리 시스템을 직접 만들고, 오픈소스 Hindsight로 갈아탄 뒤 채택 근거를 스스로 반증한 기록
표준이라던 TEI 추론 서버가 내 맥에서는 10배 느렸다
개인 메모리 검색을 죽이던 리랭킹 35~55초를 표준 해법인 TEI로 고치려다 실측에서 기각했다. 채택 근거는 벤더가 발표한 수치가 아니라 내 기계에서 나온 숫자다.
훅 하나를 다섯 런타임에 붙이는 데 네 가지 방식이 들었다
같은 규칙이라도 지침에 두면 확률로, 훅으로 올리면 런타임마다 다르게, 게이트웨이로 옮기면 거부로 지켜진다. 층마다 지불하는 값을 실측으로 갈랐다
18건 저장 성공이라던 보고, 실제 저장은 0건이었다
개인 메모리뱅크(Hindsight-Crew)에 기록 18건을 저장하는 호출이 전부 실패했는데 에이전트의 보고는 성공이었다. 발각은 자동 검증이 아니라 사람의 지적이었다.
재현율 0.45, 검색기를 고치기 전에 빠진 22건을 열어봤다
팀 메모리 시스템(Hindsight)으로 쓴 보고서의 활동 재현율이 목표 0.95에 크게 못 미쳤다. 검색기를 손보기 전에 분모부터 열자 빠진 22건 중 진짜 손실은 1건이었다.