네 번 다 숫자는 맞았다

측정이 틀리는 방식은 대개 수치가 아니다.

지난 몇 달 동안 내 판정이 네 번 뒤집혔는데, 네 번 다 계산은 정확했다. 스크립트는 제대로 셌고 로그는 제대로 남았다. 틀린 건 무엇에 대고 쟀느냐였다.

대조군이 없으면 측정은 내가 이미 믿는 것을 확인해 준다

남의 룰셋에서 「실패 유형에 형식을 맞춰라」라는 기준을 하나 얻어, 내 규칙 문서에 그대로 대 봤다. 금지형 대 레시피형이 12.6~28.6배, 레시피형은 사실상 0%였다. “내 코퍼스가 이상하다” 고 적고 1순위로 채택했다.

그 도구 자신의 규칙에 이 상황의 처리가 이미 적혀 있었다.

무가이던스 대조군을 반드시 넣어라. 대조군이 실패를 안 보이면 고칠 게 없으니 멈추고, 가이던스를 쓰지 마라.

내 대조군은 참조 구현이었다. 같은 스크립트를 거기에 돌렸다. 참조 구현 전체가 26.6배였고, 「금지형은 역효과」라고 주장하는 문서 자신이 18.5배였다. 내 쪽이 오히려 덜 편중돼 있었다.

숫자는 처음부터 맞았다. 기준선이 없었을 뿐이다. 그리고 기준선이 없는 상태에서 나는 결론을 냈다.

개선폭보다 개선할 게 있는지가 먼저다

컨텍스트 압축 계층을 검토하면서 도입 효과를 재려고 했다. 그 전에 내 쪽부터 쟀다. 캐시 재사용률 92.5~96.3%, 캐시를 안 타는 입력이 호출당 1.8~2.0 토큰.

압축이 줄여 줄 대상이 존재하지 않았다. 도구가 나쁜 게 아니라 내 쪽에 문제가 없었다.

“얼마나 개선되나” 를 먼저 물으면 항상 개선되는 것처럼 보인다. 순서를 바꿔야 한다 — 개선할 게 있나부터.

전체 시간만 보면 원인을 못 짚는다

126케이스 한 런이 937초였다. 나는 셰이더 컴파일이 병목이라고 믿고 있었다.

구간을 쪼개 계측하니 다른 그림이 나왔다.

구간	시간	비중
브리지 왕복	302초	32.3%
└ 그중 트리 덤프 하나	186초	19.8%

판정할 때마다 트리를 통째로 받아오는 구조라 그랬다. 셰이더는 아예 상위에 없었다.

총계는 원인을 가린다. 구간별로 재기 전까지 내 짐작에는 근거가 없었고, 근거가 없다는 사실조차 몰랐다.

재고를 세는 것은 측정이 아니다

남이 만든 4단계 사다리에 내 운영을 맞춰 보면서 「동등」이라고 네 칸을 적었다. 그 네 칸의 기준선은 전부 설치 여부였다.

여기서도 계산은 맞았다. 설치돼 있느냐를 묻는 자로 재면 네 칸은 정말로 「동등」이고, 나는 그 자를 정확하게 댔다. 틀린 것은 자 쪽이다 — 「있다」를 재는 도구로 「돈다」를 판정했다.

마지막 칸을 실제로 눌러 보니 항목도 파일도 관측기 훅도 전부 0이었다. 보유 ≠ 작동. 그리고 자를 안 바꾸면 나머지 세 칸은 그대로 남는다 — 눌러본 적이 없으니 지금도 「동등」이라고 적혀 있다. 틀린 자로 잰 값은 네 칸이든 마흔 칸이든 같은 방향으로 틀린다.

그래서 못 잰 값에는 라벨을 붙인다

여기까지가 규약이 된 이유다. 못 재는 값은 추정치 + 신뢰구간 + [추정] 라벨로 쓰고, 실측으로 올리려면 10%를 무처리로 남긴다.

최근 채택한 기법 하나가 정확히 그 상태에 있다. 프롬프트에 품질 기준을 한 단어로 선언하는 것인데, 결과물이 좋아 보이는 건 사실이지만 그게 그 단어 덕인지 다른 조건 덕인지 분리되지 않았다. 표본이 1이라 신뢰구간도 못 낸다.

그래서 채택하되 [추정]으로 적고, 승격 방법까지 같이 적었다 — 앞으로 만드는 리포트 중 10%를 그 문장 없이 만들어 비교한다.

못 한 것

홀드아웃을 아직 한 번도 안 돌렸다. 방법을 적어 둔 것과 재 본 것은 다르다. 이 글의 다섯 절 중 마지막 하나는 여전히 [추정]이고, 그 상태로 글에 실렸다.

그리고 대조군 규칙을 나 자신에게 끝까지 적용하지 못했다. 「동등」 네 칸 중 눌러본 건 하나다. 나머지 셋은 이 글을 쓰는 지금도 장부다.

판정

네 번의 오판에 공통점이 있다. 전부 내 쪽에서 숫자가 잘 나왔고, 그 숫자를 비교할 상대가 없었다.

대조군, 그 전의 기준선, 구간 분해, 그리고 눌러보기. 이름은 넷이지만 하는 일은 하나다 — 내가 이미 믿고 있는 것과 다른 답이 나올 수 있는 자리를 만드는 것. 그 자리가 없으면 측정은 확인 절차가 되고, 확인 절차는 틀린 적이 없다.