5월에 남의 회사에 들어갔다.
제조업 기반 중견기업의 AX(인공지능 전환) 조직이었고 3개월 프로젝트로 듣고 갔다.
어떤 연으로 자리가 닿았는지는 기록에 없다.
첫 3주는 서버와 네트워크였다. 장비를 옮기고 라우터를 갈고 장비 현황표를 처음부터 썼다.
이 3주의 당대 기록은 없다. 기록 도구를 아직 세우지 않았기 때문이다.
대표가 그리는 그림은 사내 설비에서만 도는 로컬 AI였다. 경영 보고부터 코딩까지 회사 장비 안에서 돌리겠다는 방향이었다.
맥 스튜디오가 수십 대 단위로 들어왔다.
나는 성능 격차를 알고 있었고 방향을 바꾸지는 못했다.
그래서 자리를 이렇게 잡았다. 이 장비로 가능한 최대치를 정직하게 구현한다.
표를 넘겨받고 처음 한 일은 남의 숫자를 다시 재는 것이었다.
장비별 소비 전력을 제조사 공식 측정표와 전수 대조했더니 두 행의 값이 서로 바뀌어 있었다.
표가 두 종류의 전력을 섞어 쓰고 있던 쪽이 더 근본 문제였다. 섀시에 적힌 정격과 실제 부하 측정값은 다른 숫자다.
모델 배정은 세 번 고쳤다. 가장 큰 모델을 가장 좋은 장비에 넣었다가 검증에서 내가 기각했다.
극단적으로 압축해도 장비가 실제로 쓸 수 있는 메모리 한도를 넘었고 그 압축은 품질을 깎는다.
메모리가 넉넉하면 들어간다는 얘기가 아니다. 최종 배정표에는 남는 메모리와 권장 컨텍스트 상한까지 적었다. 못 하는 것을 적는 게 그 표의 값이었다.
5월 하순에 팀 메모리 시스템을 세웠다.
자작하지 않았다. 바퀴를 다시 만들 시간이 없어 오픈소스를 채택했다.
직전 몇 달 동안 메모리를 직접 만들고 부순 경험이 여기서는 고르는 눈으로 쓰였다.
그날부터 내 작업은 단위마다 기록으로 남았다. 이 글의 사료 대부분이 그 기록이다.
한 주 만에 채택 근거가 반증됐다.
내가 그 시스템을 고른 이유는 자동 요약과 의미 기반 검색이었다.
정작 일을 하고 있던 것은 그냥 쌓기와 목록 조회와 태그였다.
기록 211건 시점에서 카테고리 질의 재현율은 15.6%였다. 뱅크가 커질수록 나빠졌다.
숫자만 보면 검색 품질을 의심하고 임베딩부터 갈아끼우게 된다.
보고서 한 편을 사람이 직접 채점해봤다. 활동 재현율 0.45가 나왔다.
빠진 22건을 한 건씩 열었다. 대부분은 내가 임원 보고에서 일부러 뺀 항목이었다.
진짜 누락은 한 건이었다.
0.45는 검색이 나쁘다는 신호가 아니었다. 분모 정의가 틀렸다는 뜻이다.
고쳐야 할 것은 검색이 아니라 임원에게 갈 항목을 가르는 분류기였다.
임베딩 비교 실험은 결정 규칙을 먼저 얼려놓고 시작했다.
유의 수준과 최소 표본을 실험 전에 못 박았다.
결과는 표본 미달이었다. 규칙대로 결론 없음으로 닫고 쓰던 모델을 유지했다.
이긴 실험이 아니다. 규칙을 사후에 바꾸지 않은 실험이다.
데이터 쪽에서는 통화 기록을 팠다. 이관 대상 고객 데이터는 약 9.5만 건 규모였다.
원본 행 수가 통화 건수가 아니었다. 자동응답 안내와 상담원 연결이 같은 전화의 두 단계로 각각 남고 있었다.
중복이 약 40%였다.
이 숫자는 통화 품질 등급의 분모였고 그 등급은 영업사원 평가로 나갈 예정이었다.
사람 평가에 들어가는 숫자였다. 발신번호와 인입 시각으로 묶는 규칙을 설계에 못 박았다.
기술 결정과 비기술 결정을 나눠 문서로 쌓는 일도 내 몫이었다.
첫 문서에서 내가 만든 규칙을 내가 어길 뻔했다. 스스로 승인하지 말라는 규칙을 세워놓고 첫 셋업을 나 혼자 올리고 있었다.
예외 조항에 만료일을 붙여 명문화했다.
새 업무가 들어올 때마다 그 일 때문에 원래 일이 며칠 밀리는지를 같이 적어 결재에 올리기로 회의에서 합의했다.
같은 지시를 두고 팀원마다 들은 내용이 달랐던 것도 그대로 적었다. 나는 명확히 못 들었다고 적었다.
규칙을 만든 사람이 그 규칙의 첫 위반자가 되는 건 흔한 일이다. 나도 예외는 아니었다.
달력에는 스키마 마감과 시연 날짜가 이미 박혀 있었다.
5월 말에 나는 내 기록 하나를 정정하면서 한 줄을 덧붙였다.
"진행 중 여러 한계에 부딪힐 것으로 예상."
예측을 적어둔 줄 알았는데 예고였다.
다음 장은 그 예고가 지켜지는 이야기다.