평가와 벤치마크
20편의 기록
Upstage API 하루 실측, 정확도를 맨 나중에 재기로 했다
영수증 50장에서 상호명 F1이 76%로 나왔다. 오답 14건을 원본과 대조하니 모델이 틀린 것은 1건이었고 나머지는 정답 쪽과 내가 쓴 스키마 문구가 만들었다.
자기 진단 네 건을 뒤집고 뒤집은 절차에 이름을 붙였다
라우팅 폴백 판정, 캐시 조사의 기각 판정, 컨텍스트 절벽 진단, 비교 대상 제품에 0.0을 준 벤치 결과까지 자기 진단 네 건이 뒤집힌 기록과 각각을 뒤집은 재검증 절차
27일에 커밋일은 10일, 세션 인덱스에는 하루만 잡혔다
한 프로젝트의 27일 구간을 커밋 원장과 세션 인덱스 두 집계기로 각각 세어 보고, 밀도 수치에 집계 범위 라벨을 붙이지 않으면 무엇이 사라지는지 실측으로 확인한 기록
이미지 1,000장을 전부 열고 프롬프트 950건을 데이터에서 지웠다
무료 배포 자료가 유료 본체를 잠식하지 않는 선을 첫날 한 문장으로 고정하고, 그 선을 화면이 아니라 서버로 나가는 데이터에서 구현했다
검사기 셋을 지우고 테스트 73건을 71건으로 줄여서 닫았다
보안 점검 도구부터 접은 제품의 랜딩까지, 2026년 여름에 닫은 산출물 네 계열의 커밋에는 공통으로 검증되지 않은 주장의 삭제가 들어 있었다
검색을 잃은 오후, 인수인계 스코프를 15분에 세 번 고쳐 썼다
팀 메모리 시스템의 백엔드 장비가 회수돼 시맨틱 검색이 끊긴 날, 로컬 덤프와 클라우드 드라이브의 파일 수정 시각으로 재직 전 구간의 타임라인을 다시 세운 기록
석 달 동안 원천 부재로 닫아둔 8일 구간의 기록이 세 곳에 있었다
내 기기와 계정만 전수 조사해 원천 부재로 판정한 8일 구간의 1차 기록을 제3자 시스템과 클라우드 사본 세 곳에서 찾고, 부재 판정 라벨에 조사 범위를 붙이기로 한 기록
임원 보고서에 Claude 이름을 그대로 적고 규칙 넷을 세웠다
제조업 기반 중견기업에서 임원 보고 문서를 언어 모델 보조로 만든 여섯 주 동안 세워진 보고 규율 네 가지와, 그 각각을 만든 사건
AI 냄새 제거 도구 20종을 고르다 도구 대신 4단 게이트를 세웠다
한국어 AI 냄새 제거 도구 20종을 갈라 humanizer 스킬(DaleSeo/korean-skills) 하나를 발행 전 게이트로 채택한 기록. 값은 도구 이름보다 층 배치와 기각권에서 나왔다.
CLAUDE.md를 243줄까지 불렸다가 77줄로 깎았다
에이전트 지침 파일에 기억을 밀어 넣다 실패하고, 메모리 시스템을 직접 만들고, 오픈소스 Hindsight로 갈아탄 뒤 채택 근거를 스스로 반증한 기록
Gemini 무료 계정, 하루 5회라던 한도를 직접 세어봤다
무료 계정만으로 따라올 수 있어야 하는 소상공인 AI 교육을 만들다 보니 무료 한도가 교재의 사실 주장이 됐다. 문서와 커뮤니티의 숫자를 직접 확인하자 세 항목이 달랐다.
커리어 전환기 3편 - 줄여서 닫는 법
장비 회수로 끝난 6주와 줄여서 닫은 인수인계의 기록
재현율 0.45, 검색기를 고치기 전에 빠진 22건을 열어봤다
팀 메모리 시스템(Hindsight)으로 쓴 보고서의 활동 재현율이 목표 0.95에 크게 못 미쳤다. 검색기를 손보기 전에 분모부터 열자 빠진 22건 중 진짜 손실은 1건이었다.
커리어 전환기 2편 - 정직한 상한
로컬 AI 조직에서 장비 상한과 지표 분모를 다시 잰 5월의 기록
통화 기록의 행을 그대로 세니 통화가 40% 부풀려졌다
통화 SaaS가 내보낸 원천 테이블의 행을 그대로 세면 통화 건수가 약 40% 부풀려졌다. 그 숫자가 영업사원 역량 평가의 분모로 들어갈 예정이었다.
표본 17건으로는 0.021 차이를 승자로 부를 수 없었다
한국어 임베딩 세 후보(arctic-ko, KURE-v1, BGE-m3-ko) 중 KURE-v1이 0.021 앞섰지만 표본이 미리 얼려둔 최소치에 못 미쳤다. 규칙을 고치지 않고 승자 없음으로 닫았다.
자신을 대체할 AI를 자기 손으로 훈련시키는 직원들
Meta가 미국 직원 PC에 추적 소프트웨어를 깔고 행동 데이터로 AI를 훈련한다. 동시에 8,000명 해고, 동의인가 21세기 인클로저인가.
Claude Mythos의 아키텍처를 역공학해봤다
가중치 없이 코드만으로 Claude Mythos 구조를 추정한 OpenMythos. 루프드 트랜스포머 실험과 LoRA 증류가 보여준 아키텍처와 행동의 분리.
해커는 악성코드를 .pdf로 위장한다
확장자 위장 파일을 밀리초 만에 판별하는 Google의 AI 도구 Magika. 정확도 99%, Gmail과 Drive에서 실전 검증됐다.
AI 채택 속도, PC와 인터넷을 넘어섰다
PC 15년, 인터넷 10년 걸린 보급 곡선을 AI가 앞질렀다. 다만 도입률과 활용 깊이는 별개 지표다. 스탠퍼드 AI Index 2026.