사전학습Pretraining
라벨 없는 대량의 텍스트로 모델의 기본 언어 능력을 처음부터 만드는 첫 단계.
이 단계를 직접 감당하는 곳은 몇 안 되고, 나머지 발표는 전부 남이 끝낸 베이스 위에 얹은 이야기다.
05
학습
카드에 자꾸 나오는 용어와, 그걸 알고 나면 무엇이 달리 읽히는지.
28개
파인튜닝Fine-tuning
이미 학습된 모델의 가중치를 내 데이터로 조금 더 학습시켜 특정 용도에 맞추는 일.
우리 데이터로 학습시켰다는 발표는 거의 이것이고 처음부터 만든 게 아니다. 비용도 천장도 다르다.
증류Distillation
큰 모델의 출력을 정답 삼아 작은 모델을 학습시켜 행동을 최대한 옮겨 담는 방법.
작은 모델이 갑자기 잘하면 대개 이것이다. 대신 교사 모델 약관을 어겼느냐가 늘 따라붙는 쟁점이다.
QATQuantization-Aware Training
학습 중에 낮은 정밀도로 반올림되는 상황을 미리 겪게 해서, 눌러도 덜 망가지게 만드는 방식.
제목에 quantization-aware가 있으면 4비트판도 품질을 지켰다는 주장이다. 사후 변환본과는 물건이 다르다.
LoRALow-Rank Adaptation
원본 가중치는 얼린 채 옆에 작은 행렬 두 개를 붙여 그것만 학습하는 방법.
결과물이 원본의 1%도 안 되는 파일 하나라 갈아 끼우기 쉽다. 허브에 올라오는 튜닝본 대부분이 이 형태다.
체크포인트Checkpoint
학습 도중 특정 시점의 가중치를 통째로 저장해 둔 파일로, 실제로 내려받아 돌리는 물건이 이것이다.
가중치를 안 풀면 논문이 아무리 좋아도 남이 이어서 못 한다. 중간 저장분까지 푸는 곳은 연구용으로 값이 다르다.
포스트트레이닝Post-training
베이스 모델이 나온 뒤 대화·지시 따르기·안전성에 맞게 다듬는 이후 단계 전체를 묶어 부르는 말.
같은 베이스에서 나온 두 모델이 전혀 다르게 굴면 차이는 대개 사전학습 데이터가 아니라 이 단계에 있다.
지도 파인튜닝Supervised Fine-Tuning
사람이 쓰거나 검수한 질문-정답 쌍을 그대로 따라 하게 시키는 후학습의 첫 단계.
지시를 따르는 성격은 여기서 붙는다. 이름에 Instruct가 붙은 판과 안 붙은 판의 차이가 이것이다.
PEFTParameter-Efficient Fine-Tuning
원본 가중치는 얼려 두고 새로 붙인 작은 파라미터만 학습해, 학습할 양을 몇 자릿수 줄이는 방식들의 통칭.
논문·툴 이름에 이 약자가 붙었다면 전체 학습은 하지 않았다는 선언이다. 성능 천장도 전체 학습과 같지 않다.
QLoRA
원본 모델을 4비트로 눌러 올린 뒤, 그 위에 붙인 작은 행렬만 학습하는 조합.
70B급을 개인 GPU 한 장에서 튜닝했다는 글은 대개 이것이다. 대신 학습 속도와 정밀도를 내준다.
RLHFReinforcement Learning from Human Feedback
사람이 두 응답 중 나은 쪽을 고른 데이터로 채점기를 만들고, 그 점수를 올리도록 모델을 미는 방식.
말투·거절·안전 반응이 여기서 만들어진다. 업데이트 후 모델이 갑자기 답을 피하면 이 단계를 의심한다.
보상 모델Reward Model
사람의 선호를 학습해서 응답 하나하나에 점수를 매기는 별도의 채점용 모델.
채점기가 치우쳐 있으면 본 모델이 그 치우침을 그대로 극대화한다. 아부하는 답이 늘어나는 흔한 경로다.
GRPOGroup Relative Policy Optimization
한 질문에 여러 답을 뽑아 서로 비교한 상대 점수만으로 학습하는 강화학습 알고리즘.
추론 모델 학습에서 PPO 자리를 가져갔다. 기술 보고서에 이 약자가 있으면 추론 RL을 돌렸다는 뜻이다.
DPODirect Preference Optimization
채점기도 강화학습 루프도 없이, 선택된 답과 버려진 답 쌍으로 모델을 바로 미는 학습법.
구현이 단순하고 GPU를 덜 먹어서, 커뮤니티가 올리는 정렬 튜닝본은 거의 이쪽이다.
RLVRReinforcement Learning with Verifiable Rewards
정답을 기계가 확인할 수 있는 과제에서, 채점 결과를 그대로 보상으로 쓰는 강화학습.
코드·수학 점수가 갑자기 뛰었다는 발표 뒤엔 대개 이 구조가 있다. QA로 치면 테스트 통과 여부가 학습 신호다.
보상 해킹Reward Hacking
채점 기준의 빈틈을 찔러 점수만 올리고 원래 시키려던 행동은 하지 않게 되는 현상.
테스트를 통과하려고 조건문을 박아 넣는 코드가 이것이다. 벤치는 오르는데 실사용이 나빠지면 채점기부터 의심한다.
합성 데이터Synthetic Data
사람이 쓴 게 아니라 모델이 만들어 내고 걸러 낸 학습용 데이터.
지금 후학습 데이터의 대부분이 이것이다. 걸러 내는 기준이 곧 품질이고, 안 걸러 쓰면 오류가 증폭된다.
데이터 큐레이션Data Curation
긁어모은 원본에서 중복·저품질·유해 문서를 걸러 내고 출처별 비율을 정하는 작업.
같은 크기 모델의 성능 차이는 구조보다 여기서 더 갈린다. 기술 보고서에서 가장 자주 비어 있는 대목이다.
커리큘럼 학습Curriculum Learning
쉬운 데이터부터 어려운 데이터 순으로 순서를 짜거나 단계마다 배합을 바꿔 먹이는 방식.
막바지에 고품질 데이터만 넣는 설계가 흔하다. 데이터가 같아도 순서가 다르면 결과가 달라진다.
스케일링 법칙Scaling Law
모델 크기·데이터양·연산량을 늘렸을 때 성능이 얼마나 좋아지는지 미리 예측하는 경험식.
이 정도 돈이면 이 정도 모델이라는 계산의 근거다. 발표가 이 곡선에서 벗어날 때 그게 뉴스가 된다.
베이스 모델Base Model
사전학습만 끝내고 지시 따르기 훈련은 받지 않아, 답하기보다 문장을 이어 쓰는 상태의 모델.
한 저장소에 Instruct 붙은 판이 따로 있으면, 안 붙은 쪽은 챗봇처럼 쓰라고 올린 게 아니다.
파국적 망각Catastrophic Forgetting
새 데이터로 더 학습시키다가 전에 잘하던 것을 잃어버리는 현상.
도메인 파인튜닝 뒤 일반 성능이 떨어졌다는 보고는 대부분 이것이고, 원본을 얼리고 어댑터만 쓰는 이유다.
계속 사전학습Continued Pretraining
공개된 모델에 특정 분야 원문을 대량으로 더 먹여 그 분야의 말투와 지식을 심는 단계.
의료·법률·특정 언어 모델이 나오는 경로다. 파인튜닝보다 데이터가 몇 자릿수 더 든다.
모델 병합Model Merging
학습을 더 하지 않고 여러 모델의 가중치를 수식으로 섞어 새 모델을 만드는 것.
허브에 하루 만에 새 모델이 쏟아지는 이유. GPU는 거의 안 들지만 능력의 출처를 추적할 수 없다.
자기개선 루프Self-Improvement Loop
모델이 스스로 만든 결과를 채점해 골라내고, 그 데이터로 자기를 다시 학습시키는 반복 구조.
제목의 self-evolving·self-improving은 대개 이 구조다. 채점기가 약하면 루프가 제 착각을 강화한다.
학습률Learning Rate
가중치를 한 번 갱신할 때 얼마나 크게 움직일지 정하는 수로, 훈련이 진행되면 정해진 곡선을 따라 줄어든다.
튜토리얼마다 2e-5 같은 숫자가 설명 없이 박혀 있는 이유다 — 크면 원래 하던 것이 무너지고, 작으면 아무것도 안 남은 채 런이 끝난다.
옵티마이저Optimizer
기울기를 받아 가중치를 실제로 어떻게 고칠지 정하는 규칙으로, AdamW가 오래 기본값이었고 Muon 같은 대체재가 나왔다.
모델 발표문에 'Muon으로 학습했다' 한 줄이 붙는 이유다 — 같은 데이터·같은 크기로 GPU 시간을 줄였다는 원가 주장이고, 바꾸면 학습률부터 다시 잡아야 한다.
학습 손실Training Loss
모델의 예측이 훈련 데이터에서 얼마나 벗어났는지 하나의 수로 나타낸 값으로, 런이 정상이면 계속 내려간다.
대형 학습 로그에 '스파이크가 나서 며칠 전 체크포인트로 되감았다'가 나오는 이유다 — 며칠치 GPU 시간을 버릴지 이 곡선 하나 보고 정한다.