평가와 벤치마크
8편의 기록
아티클 렌더링 검증
장문 아티클 채널의 구조를 확인하는 검증용 문서
모델은 점수가 아니라 방법으로 고른다
리더보드 1.38pt 차이는 노이즈였다. 교체 판단은 사전 동결한 decision rule과 자기 워크로드 실측이 만든다.
에이전트 기억은 조회를 믿으면 안 된다
1주 211건 운영 실측에서 recall 재현율은 15.6%였다. 조회는 완전성을 보장하지 않는다.
측정하지 않은 것을 측정했다고 하지 않는다
조건 라벨을 뗀 수치는 측정이 아니라 주장이다. 라벨과 함께 쓸 수 없는 수치는 버린다.
자신을 대체할 AI를 자기 손으로 훈련시키는 직원들
Meta가 미국 직원 PC에 추적 소프트웨어를 깔고 행동 데이터로 AI를 훈련한다. 동시에 8,000명 해고, 동의인가 21세기 인클로저인가.
Claude Mythos의 아키텍처를 역공학해봤다
가중치 없이 코드만으로 Claude Mythos 구조를 추정한 OpenMythos. 루프드 트랜스포머 실험과 LoRA 증류가 보여준 아키텍처와 행동의 분리.
해커는 악성코드를 .pdf로 위장한다
확장자 위장 파일을 밀리초 만에 판별하는 Google의 AI 도구 Magika. 정확도 99%, Gmail과 Drive에서 실전 검증됐다.
AI 채택 속도, PC와 인터넷을 넘어섰다
PC 15년, 인터넷 10년 걸린 보급 곡선을 AI가 앞질렀다. 다만 도입률과 활용 깊이는 별개 지표다. 스탠퍼드 AI Index 2026.