RAG
7편의 기록
Upstage API 하루 실측, 정확도를 맨 나중에 재기로 했다
영수증 50장에서 상호명 F1이 76%로 나왔다. 오답 14건을 원본과 대조하니 모델이 틀린 것은 1건이었고 나머지는 정답 쪽과 내가 쓴 스키마 문구가 만들었다.
CLAUDE.md를 243줄까지 불렸다가 77줄로 깎았다
에이전트 지침 파일에 기억을 밀어 넣다 실패하고, 메모리 시스템을 직접 만들고, 오픈소스 Hindsight로 갈아탄 뒤 채택 근거를 스스로 반증한 기록
표준이라던 TEI 추론 서버가 내 맥에서는 10배 느렸다
개인 메모리 검색을 죽이던 리랭킹 35~55초를 표준 해법인 TEI로 고치려다 실측에서 기각했다. 채택 근거는 벤더가 발표한 수치가 아니라 내 기계에서 나온 숫자다.
재현율 0.45, 검색기를 고치기 전에 빠진 22건을 열어봤다
팀 메모리 시스템(Hindsight)으로 쓴 보고서의 활동 재현율이 목표 0.95에 크게 못 미쳤다. 검색기를 손보기 전에 분모부터 열자 빠진 22건 중 진짜 손실은 1건이었다.
커리어 전환기 2편 - 정직한 상한
로컬 AI 조직에서 장비 상한과 지표 분모를 다시 잰 5월의 기록
표본 17건으로는 0.021 차이를 승자로 부를 수 없었다
한국어 임베딩 세 후보(arctic-ko, KURE-v1, BGE-m3-ko) 중 KURE-v1이 0.021 앞섰지만 표본이 미리 얼려둔 최소치에 못 미쳤다. 규칙을 고치지 않고 승자 없음으로 닫았다.
AX를 한다면서 DX 설계를 그대로 쓰는 회사가 많다
관계 테이블, 지식 테이블, 벡터 컬럼. AI를 얹는 게 아니라 밑에 깔아야 한다, LLM이 읽기 좋은 스키마가 AX의 출발점이다.