Topic

평가·검증

주장과 실측이 갈리는 지점. 벤치마크, 재현율, 표본 수, 회귀 게이트를 다룬다.

10편의 기록

판정

제품 도입을 판정할 때 정확도 표를 먼저 봐도 되는가? 정확도는 맨 나중에 잰다. 필드 정의, 응답 형식 지정, 과금 관측 경로를 먼저 고정하고 그 뒤에 잰다. 원천 테이블의 행 수를 사람 평가의 분모로 그대로 써도 되는가? 평가에 들어갈 분모는 원천 행을 세기 전에 중복 제거 규칙부터 정의한다. 실험 결과가 사전에 정한 조건에 미달하면 무엇을 결론으로 쓰는가? 결정 규칙을 실행 전에 얼려두고, 표본이 그 규칙의 최소치에 미달하면 앞선 숫자가 있어도 승자를 고르지 않는다.

아티클

아티클 ·4분 읽기

검사기 셋을 지우고 테스트 73건을 71건으로 줄여서 닫았다

보안 점검 도구부터 접은 제품의 랜딩까지, 2026년 여름에 닫은 산출물 네 계열의 커밋에는 공통으로 검증되지 않은 주장의 삭제가 들어 있었다

아티클 ·4분 읽기

27일에 커밋일은 10일, 세션 인덱스에는 하루만 잡혔다

한 프로젝트의 27일 구간을 커밋 원장과 세션 인덱스 두 집계기로 각각 세어 보고, 밀도 수치에 집계 범위 라벨을 붙이지 않으면 무엇이 사라지는지 실측으로 확인한 기록

아티클 ·4분 읽기

석 달 동안 원천 부재로 닫아둔 8일 구간의 기록이 세 곳에 있었다

내 기기와 계정만 전수 조사해 원천 부재로 판정한 8일 구간의 1차 기록을 제3자 시스템과 클라우드 사본 세 곳에서 찾고, 부재 판정 라벨에 조사 범위를 붙이기로 한 기록

아티클 ·4분 읽기

이미지 1,000장을 전부 열고 프롬프트 950건을 데이터에서 지웠다

무료 배포 자료가 유료 본체를 잠식하지 않는 선을 첫날 한 문장으로 고정하고, 그 선을 화면이 아니라 서버로 나가는 데이터에서 구현했다

아티클 ·4분 읽기

검색을 잃은 오후, 인수인계 스코프를 15분에 세 번 고쳐 썼다

팀 메모리 시스템의 백엔드 장비가 회수돼 시맨틱 검색이 끊긴 날, 로컬 덤프와 클라우드 드라이브의 파일 수정 시각으로 재직 전 구간의 타임라인을 다시 세운 기록

노트2편
노트 ·2분 읽기

Claude Code가 한 달 동안 바보가 된 이유

사고 깊이 하향, 사고 기록 삭제 버그, 프롬프트 한 줄. 세 가지가 겹쳐 재현 불가능한 품질 저하를 만든 과정과 교훈.

노트 ·1분 읽기

원샷 PRD는 반쪽이다, enhance 루프를 돌려라

품질 게이트 9개 기준 정량 채점, 갭 분석과 추가 인터뷰 루프로 7.5점에서 9.5점까지. 원샷 완벽은 LLM에게 아직 무리다.