제조업 기반 중견기업의 인공지능 전환 조직에서 계약직으로 일한 여섯 주 동안 보고 규율 넷이 세워졌다.
첫 규칙은 임원 보고서에 검수 도구 이름을 Claude라고 그대로 적는 것이었다.
나머지 셋은 전부 내가 보고서에 뭔가를 잘못 적어 두고 나중에 들킨 데서 나왔다.
문제
보고서를 언어 모델 보조로 만들면 본문 말고 문장이 하나 더 생긴다.
이걸 무엇으로 만들었는지 적는 줄이다.
그 줄은 본문보다 짧은데 읽는 사람의 신뢰는 대부분 거기서 갈린다.
자동화한 산출물의 값은 도구의 성능보다 그 한 줄을 얼마나 정확하게 쓰느냐에서 나온다.
문제는 그 줄이 검수 대상 밖에 있다는 것이다.
본문의 수치와 일정은 여러 사람이 다시 본다.
반면 무엇으로 만들었고 어디까지 확인했는지를 적은 줄은 쓴 사람만 안다.
검증하는 눈이 없는 곳에 쓰는 사람의 편의가 그대로 쌓인다.
표기를 한 단계 흐리면 그 줄은 더 매끄러워지고, 흐린 만큼 나중에 확인할 방법이 사라진다.
여섯 주 동안 그 줄을 두고 규칙 넷이 붙었다.
하나는 사고가 나기 전에 미리 세웠고 셋은 사고 뒤에 세웠다.
그래서 넷의 무게가 같지 않다.
도구 이름을 그대로 적는다
2026년 5월 27일 검수 도중에 표기 방식을 정했다.
임원과 대표에게 가는 보고서에서 언어 모델이 손댄 부분은 "Claude 보조 검수"나 "Claude로 작성"처럼 적고, "외부 검수" 같은 우회 표현은 쓰지 않는다.
이유는 실무였다.
임원이 외부 검수가 누구냐고 물으면 그 자리에서 댈 이름이 없다.
게다가 조직은 이미 언어 모델을 쓰는 것을 자연스럽게 받아들이고 있었다.
적용 범위는 일일 보고서와 주간 보고서, 그리고 임원에게 공유되는 문서 전반이다.
래퍼 도구를 하나씩 끝까지 호출해 봤다
내가 묶은 래퍼 도구 하나가 문제였다.
안에 든 경로 몇 개를 실제로 호출해 보지 않은 채 될 것이라고 추정하고 도구로 감쌌다.
추정에는 근거가 있었다.
각 경로는 문서상 존재했고 형식도 맞았다.
존재하는 경로와 끝까지 도는 경로 사이에는 호출 한 번이 놓여 있는데, 그 한 번을 건너뛰었다.
보고에는 작동한다고 적혀 있었고, 나중에 스스로 재검토를 돌리다 그 사실이 드러났다.
개정한 규칙은 짧다.
래퍼 도구는 안에 든 도구를 하나씩 실제로 한 번씩 끝까지 호출해 본 뒤에만 작동한다고 보고한다.
호출해 보지 않은 항목은 미검증이라고 적는다.
빈칸으로 두거나 통째로 작동한다고 뭉뚱그리는 대신 그 자리에 미검증이라는 말을 남긴다.
조회 한 번에 0.005달러를 쓰고 핵심 발견이 뒤집혔다
실측 데이터 한 덩어리를 놓고 내가 오류라고 단정했다.
근거는 내 지식 컷오프 시점의 상식이었다.
그 상식이 눈앞의 실측보다 낡았을 가능성을 계산에 넣지 않았다.
컷오프 기준의 상식이 위험한 것은 그것이 추측이 아니라 지식의 얼굴로 오기 때문이다.
모르는 것 앞에서는 조회를 하는데, 안다고 느끼는 것 앞에서는 조회를 건너뛴다.
추가 조회를 한 번 돌리자 단정이 그대로 반증됐다.
그 조회 한 번에 실제로 든 값은 0.005달러다.
뒤집힌 것은 보고서의 핵심 발견이었다.
비대칭이 여기 있다.
검증을 건너뛰어 아낀 값은 0.005달러이고, 그대로 올라갔다면 임원은 반대로 뒤집힌 결론을 근거로 판단했다.
비용이 이 정도로 기울어 있으면 판단할 것이 남지 않는다.
그래서 시간에 민감한 수치는 외부 출처와 대조한 뒤에만 단정하기로 했다.
대조하지 못한 수치는 보고서에 올리되 대조 전이라고 적는다.
같은 손이 쓴 체크리스트는 모양까지만 보증한다
2026년 5월 30일 새벽 검수에서 판정이 하나 나왔다.
문자열 검색이 통과했다는 것은 모양에 대한 보증까지다.
체크리스트를 만든 사람이 그 체크리스트를 자기 손으로 돌려 통과시키면, 그때 정직하게 말할 수 있는 범위는 형태 회귀가 없다는 것까지다.
설계가 맞는지는 그 검사로 알 수 없다.
만든 사람의 전제가 검사 항목 안에 그대로 들어가 있기 때문이다.
그래서 설계 수준의 검증은 다른 손에 넘겼다.
스키마를 정합화할 때는 Codex에 적대적 리뷰를 붙였고, 별도 검수 에이전트가 같은 자리에서 지적을 냈다.
이 규칙도 그 검수에서 나왔다.
독립 검토를 붙이는 값은 호출 한 번과 대기 시간 정도이고, 붙이지 않으면 잘못된 설계가 보고서를 통과해 그다음 작업의 전제가 된다.
자기 검사가 낸 초록불은 보고서에 초록불이라고 적되, 그 초록불이 무엇까지 봤는지를 함께 적는다.
검사를 돌렸다는 문장과 설계가 옳다는 문장은 다른 문장이고, 보고서에서 둘을 붙여 쓰면 읽는 쪽은 뒤엣것으로 읽는다.
결론
네 규칙은 도구 선택보다 보고 문장을 어떤 형식으로 쓰느냐에 관한 것이다.
이름을 그대로 적고, 호출해 본 것만 작동이라고 적고, 대조한 뒤에 단정하고, 자기 검사가 보증하는 범위까지만 적는다.
넷 중 어느 것도 더 좋은 모델을 붙여서 해결되지 않는다.
| 규칙 | 쓰지 않게 된 문장 | 대신 쓰는 문장 |
|---|---|---|
| 도구 이름 | 외부 검수 완료 | Claude 보조 검수 |
| 호출 검증 | 래퍼 도구 작동 | 호출 검증 완료 항목과 미검증 항목 구분 표기 |
| 외부 대조 | 이 수치는 오류 | 외부 출처 대조 전, 판단 보류 |
| 독립 검토 | 체크리스트 전항목 통과 | 형태 회귀 없음, 설계 검토는 별도 |
산출물을 만드는 손이 빨라질수록 남는 값은 무엇으로 만들었는지를 적는 형식 쪽으로 옮겨 간다.
보고서를 몇 시간에 만들었는지는 반년이면 아무도 기억하지 않고, 그 보고서의 어느 문장을 믿어도 되는지는 계속 남는다.
넷 다 쓰는 데 드는 시간은 문장 몇 개 분량이고, 그 문장 몇 개가 없으면 나머지 전부가 확인되지 않은 주장으로 내려앉는다.
그 문장 넷 가운데 셋은 내가 보고서에 잘못 적어 두고 들킨 뒤에 세웠다.
한계·재검토 트리거
2026-09 기준 / 재검토 트리거: 조직이 언어 모델 사용 표기를 자체 규정으로 금지하거나, 도구 이름을 그대로 적은 보고서가 그 표기 때문에 반려된 사례가 한 건이라도 관측되면 첫 규칙을 다시 연다.