벤치마크Benchmark
같은 문제 묶음을 여러 모델에 똑같은 조건으로 풀리고 점수를 비교하는 고정된 시험지.
카드 제목의 -Bench는 전부 이것이다. 시험지가 다르면 같은 점수도 다른 뜻이라, 숫자만 옮기면 비교가 안 된다.
05
평가
카드에 자꾸 나오는 용어와, 그걸 알고 나면 무엇이 달리 읽히는지.
28개
환각Hallucination
근거 없는 내용을 사실인 것처럼 자신 있게 지어내 답하는 실패.
티가 안 나는 게 문제다. 틀린 티가 나면 반려되지만, 그럴듯하면 코드와 문서에 그대로 남는다.
데이터 오염Data contamination
시험 문제와 정답이 학습 데이터에 이미 들어가 있어 점수가 부풀려지는 상태.
오래된 공개 벤치마크의 높은 점수는 이걸 먼저 의심한다. 최신 문제로 다시 재면 점수가 내려앉는 일이 흔하다.
Terminal-Bench
터미널만 준 채 실제 작업을 끝까지 시키고 결과 상태로 성공을 판정하는 에이전트 시험지.
에이전트 카드에서 자주 튀어나온다. 여기 점수는 모델만이 아니라 하네스·도구·재시도 예산이 함께 만든다.
SWE-bench
실제 깃허브 이슈를 주고 저장소를 고치게 한 뒤 원본 테스트로 통과 여부를 세는 코딩 시험지.
코딩 에이전트 발표는 거의 이 점수로 자랑한다. 500문제짜리 Verified와 2294문제짜리 전체는 다른 시험지다.
같이 볼 것 실행 기반 평가 · 하네스 · Terminal-Bench · pass@k
평가(eval)Eval
모델이나 에이전트가 원하는 대로 동작하는지 확인하려고 굴리는 시험 묶음과 채점 절차 전체.
벤치마크가 공개 시험지라면 이건 내 제품에 맞춰 내가 만든 시험지다. 회사마다 다르고 공개도 잘 안 한다.
리더보드Leaderboard
여러 모델의 벤치마크 점수를 한 표에 줄 세워 공개하는 순위판.
상위 몇 개는 소수점 차이라 순서가 자주 뒤집힌다. 1위인지보다 몇 점 차이인지, 몇 번 돌렸는지를 본다.
pass@k
한 문제에 답을 k번 뽑아 그중 하나라도 통과하면 맞은 것으로 세는 채점 방식.
k를 키우면 점수는 반드시 오른다. k를 안 밝힌 코드 생성 점수는 아무것과도 비교가 안 된다.
엘로Elo rating
둘을 맞붙여 이긴 쪽 점수를 올리고 진 쪽을 깎아 매기는 체스식 상대 점수.
점수 차는 승률로 환산된다. 100점 차가 승률 64%, 20점 차면 53%라 사실상 동률이다.
LLM 심판LLM-as-a-judge
사람 대신 다른 모델에게 답안을 읽히고 점수나 승패를 매기게 하는 채점 방식.
싸고 빠르지만 긴 답, 앞에 놓인 답, 자기 계열 말투를 편애한다. 자동 채점만 쓴 카드면 그 편향이 점수에 들어 있다.
퍼플렉시티Perplexity
다음 토큰을 얼마나 덜 헷갈려 하는지를 재는 값으로, 낮을수록 그 문장 뭉치를 잘 예측한 것이다.
양자화 카드가 품질 손실이 없다고 할 때 드는 숫자가 이거다. 토크나이저·말뭉치가 다르면 모델끼리 비교가 안 된다.
홀드아웃 세트Held-out set
처음 보는 문제에서의 성능을 재려고 학습에 쓰지 않고 따로 빼 둔 문제 묶음.
튜닝하면서 계속 들여다보면 그 순간 홀드아웃이 아니다. 점수는 오르는데 실사용이 그대로면 이걸 의심한다.
정확도Accuracy
전체 문제 중 맞힌 문제의 비율을 그대로 낸, 가장 단순하고 떼어 인용하기 쉬운 점수.
제목에 95.3%만 있으면 절반이다. 문제 수·시도 횟수·부분 점수 여부를 알아야 다른 숫자와 붙일 수 있다.
MMLU
2020년에 나온, 57개 과목 객관식으로 지식의 폭을 재는 표준 시험지.
상위 모델이 다 90%대라 이제 변별이 안 된다. 이 점수만 앞세운 카드는 새로 말한 게 적다는 뜻이다.
LMArena
같은 질문에 두 모델이 익명으로 답하고 사람이 더 나은 쪽을 고르게 해 순위를 만드는 사이트.
정답이 없는 질문까지 잰다는 게 장점이다. 대신 말투·길이 취향이 섞여 코딩 점수 순위와 자주 어긋난다.
승률Win rate
두 모델을 같은 문제에 붙였을 때 어느 쪽 답이 더 낫다고 뽑힌 비율.
A가 B를 60% 이겼다는 말은 A가 60점이라는 뜻이 아니다. 상대를 바꾸면 숫자도 바뀌어 같은 표 안에서만 비교된다.
벤치마크 포화Benchmark saturation
상위 모델 점수가 천장에 몰려 더는 차이를 가르지 못하는 상태.
새 -Bench 논문이 계속 나오는 이유가 이거다. 옛 시험지의 1~2점 차이는 대개 잡음이다.
벤치마크 과적합Benchmark overfitting
시험지에 맞춰 학습·튜닝한 탓에 점수만 오르고 실제 쓸모는 따라 오르지 않는 상태.
표 맨 위에 있는 모델이 내 업무에선 별로인 경로가 이거다. 판정은 내 데이터로 다시 재는 수밖에 없다.
어블레이션Ablation study
구성 요소를 하나씩 빼고 다시 재서 어느 부분이 성능을 만들었는지 가리는 실험.
논문에서 제일 먼저 볼 표다. 이게 없으면 개선의 출처가 새 아이디어인지 데이터인지 알 수 없다.
사람 평가Human evaluation
사람 채점자가 답을 직접 읽고 점수나 우열을 매기는, 느리고 비싼 대신 기준이 되는 채점.
자동 채점이 맞는지 확인할 방법이 결국 이거다. 채점자 수와 일치도를 안 밝히면 그 숫자도 약하다.
캘리브레이션Calibration
모델이 내비친 확신 정도와 실제 정답률이 얼마나 맞아떨어지는지를 보는 성질.
잘 맞으면 확신이 낮을 때 사람에게 넘기는 자동화가 성립한다. 안 맞으면 그 분기 자체가 못 쓴다.
정밀도·재현율Precision and recall
잡아낸 것 중 맞은 비율이 정밀도, 잡아야 할 것 중 잡아낸 비율이 재현율, 둘을 합친 값이 F1이다.
1%만 일어나는 일은 전부 아니라고 답해도 정확도 99%다. 탐지·필터를 정확도로 재면 이렇게 속는다.
베이스라인Baseline
새 방법을 견주려고 세워 두는 기준 성능으로, 보통 기존 방법이거나 아무것도 안 한 상태다.
개선폭은 상대가 정한다. 약한 상대를 골라 두면 평범한 결과도 커 보이니, 무엇과 비교했는지를 먼저 본다.
실행 기반 평가Execution-based evaluation
답을 읽고 판단하지 않고 실제로 돌려 테스트가 통과하는지로 맞고 틀림을 가르는 채점.
채점자 취향이 안 들어가서 코드 쪽 점수는 대개 이 방식이다. 대신 테스트가 안 보는 실패는 통과로 세어진다.
같이 볼 것 pass@k · SWE-bench · Terminal-Bench · LLM 심판
골든셋Golden set
뒤 버전을 견줄 기준으로 삼으려고 사람이 정답을 확정해 고정해 둔 소규모 문제 묶음.
프롬프트를 고칠 때마다 이걸 돌려야 고쳤다는 말이 증명된다. 없으면 개선과 착각을 구분할 수 없다.
재현성Reproducibility
같은 조건으로 다시 돌렸을 때 같은 점수가 나오는 정도.
에이전트 점수는 한 번 돌릴 때마다 몇 점씩 흔들린다. 실행 횟수를 안 적은 점수는 최고 기록일 수 있다.
루브릭Rubric
무엇에 몇 점을 줄지 채점 전에 항목별로 못 박아 둔 기준 문서.
LLM 심판 점수는 루브릭이 전부다. 기준을 안 밝힌 8.7점은 다른 논문의 8.7점과 아무 관계가 없다.
SOTAState of the art
지금까지 공개된 방법 중 그 시험지에서 가장 높은 점수라는 주장.
어느 시험지에서 어떤 조건으로인지가 빠지면 아무 말도 아니다. 하위 항목 하나만 1등인 경우가 흔하다.