토큰Token
모델이 글을 읽고 쓸 때 다루는 최소 조각으로, 한 단어가 여러 개로 쪼개지기도 한다.
가격·컨텍스트 한도·속도가 전부 이 단위로 계산된다. 한국어는 같은 내용도 더 잘게 쪼개져 비용이 더 든다.
05
기초
카드에 자꾸 나오는 용어와, 그걸 알고 나면 무엇이 달리 읽히는지.
30개
토크나이저Tokenizer
글자를 모델이 먹을 수 있는 조각들로 자르는 규칙표이자 그 프로그램.
모델을 바꿀 때 이걸 안 맞추면 출력이 깨진다. 어느 것을 쓰느냐에 따라 같은 문장의 토큰 수도 달라진다.
어휘집Vocabulary
모델이 알아보는 토큰의 전체 목록으로, 보통 수만에서 수십만 개다.
여기 없는 글자는 잘게 쪼개져 토큰을 더 먹는다. 다국어 모델이 한국어에 유리한지가 여기서 갈린다.
파라미터Parameter
학습으로 값이 정해지는 모델 내부의 숫자 하나로, 그 개수가 곧 모델 크기다.
모델 이름의 27B는 이 숫자가 270억 개라는 뜻이고, 그래서 필요한 메모리와 GPU 등급이 대충 정해진다.
가중치Weights
학습이 끝난 뒤 파일로 저장되는 파라미터 값들의 덩어리.
모델을 공개한다는 말은 보통 이 파일을 올린다는 뜻이다. 코드가 아니라 이 숫자 덩어리가 모델의 실체다.
임베딩Embedding
단어나 이미지를 뜻이 비슷하면 가까운 자리에 놓이도록 만든 숫자 목록.
검색·추천·문서 붙이기가 전부 이 거리 계산 위에 서 있다. 논문 제목의 representation은 대개 이 이야기다.
컨텍스트 창Context window
모델이 한 번에 볼 수 있는 입력과 출력 토큰의 최대 합계.
에이전트가 앞을 잊는 대부분의 이유가 여기다. 늘리면 값이 뛰기 때문에 메모리·요약 이야기가 따라 나온다.
프롬프트Prompt
모델에 넣는 입력 전체로, 질문뿐 아니라 규칙·예시·붙인 문서까지 포함한다.
같은 모델도 이것만 바꿔 결과가 갈린다. AGENTS.md 같은 파일 논쟁은 결국 무엇을 여기 넣을지의 문제다.
대규모 언어 모델Large language model
방대한 글로 다음 토큰을 맞히도록 학습해 문장을 만들어내는 아주 큰 신경망.
카드에 나오는 모델 대부분이 이 한 종류의 변형이다. 이름이 달라도 파라미터·컨텍스트·양자화라는 같은 축으로 비교된다.
자기회귀 생성Autoregressive generation
앞의 내용을 보고 다음 한 조각을 고른 뒤 그 결과를 다시 입력에 붙여 반복하는 생성 방식.
한 번 틀린 조각이 뒤를 통째로 끌고 간다. 스트리밍 출력도 초당 토큰 수 지표도 전부 이 구조에서 나온다.
추론Inference
학습이 끝난 모델을 실제로 돌려 답을 뽑는 단계이자 그때 드는 계산.
학습은 한 번이지만 이건 요청마다 돈이 나간다. 서빙·엣지·양자화 이야기가 전부 이 비용을 깎는 이야기다.
오픈 웨이트Open weights
학습된 파라미터 파일을 내려받아 각자 돌릴 수 있게 열어 둔 배포 방식.
코드나 학습 데이터까지 열었다는 뜻은 아니다. 오픈소스와 섞어 쓰지만 라이선스는 대개 따로 붙는다.
학습Training
데이터를 반복해 보여 주며 모델 안의 숫자를 조금씩 고쳐 나가는 단계.
이건 한 번 끝나면 파일로 굳는다. 뉴스에 나오는 GPU 수천 장 비용은 대개 이쪽이고, 쓸 때 드는 돈은 추론 쪽이다.
신경망Neural network
숫자를 층층이 곱하고 더해 입력을 출력으로 바꾸는 계산 구조.
요즘 AI 이야기의 밑바닥은 전부 이 구조 하나다. 트랜스포머도 층을 어떻게 쌓느냐에 대한 한 가지 답이다.
생성형 AIGenerative AI
이미 있는 것을 분류하거나 점수 매기는 대신 글·이미지·코드를 새로 만들어 내는 쪽 기술을 묶어 부르는 말.
발표문에 이 말이 붙으면 대개 언어·이미지 모델 이야기다. 정확도 한 숫자가 아니라 결과물을 보고 판정한다는 뜻이기도 하다.
퓨샷Few-shot
정답 예시 몇 개를 입력에 같이 붙여 주는 것만으로 원하는 형식을 따라 하게 만드는 방법.
예시 없이 그냥 시키는 것은 제로샷이라 부른다. 파인튜닝을 꺼내기 전에 여기부터 해 보라는 말이 나오는 자리다.
온도Temperature
다음 조각을 얼마나 과감하게 고를지 정하는 값. 0에 가까울수록 늘 무난한 쪽만 고른다.
코드·추출에는 낮게, 글쓰기에는 높게 두는 게 보통이다. 답이 매번 달라진다는 제보의 첫 확인 지점이다.
Top-p
확률 높은 것부터 골라 합이 정해진 비율에 닿으면 거기서 끊고 나머지는 후보에서 빼는 설정.
온도와 늘 붙어 다니지만 자르는 방식이 다르다. 로컬 모델 설정 글이 이 값과 top-k를 같이 만지라고 하는 이유다.
최대 출력 토큰Max tokens
응답 하나가 만들어 낼 수 있는 토큰 개수의 상한. 여기 걸리면 문장 중간에서 그냥 멈춘다.
답이 갑자기 잘렸다는 신고는 모델 탓이 아니라 대개 이 값이다. 컨텍스트 창과는 다른 숫자다.
정지 시퀀스Stop sequence
이 문자열이 나오면 그 자리에서 생성을 멈추라고 미리 등록해 두는 표시.
모델이 상대방 대사까지 혼자 지어내는 것을 막는 장치다. 잘못 잡으면 멀쩡한 답이 중간에 잘려 나간다.
시스템 프롬프트System prompt
사용자 입력보다 앞에 놓여 역할·말투·금지 사항을 미리 정해 두는 지시문.
제품의 성격 대부분이 여기 적혀 있어 유출 자체가 뉴스가 된다. 요청마다 다시 실려 캐시를 걸지 않으면 매번 값을 치른다.
멀티턴Multi-turn
앞서 오간 내용을 매번 통째로 다시 넣어 이어 가는 주고받기 방식.
모델은 지난 대화를 스스로 기억하지 않는다. 길어질수록 턴마다 값이 올라가고 앞부분부터 먼저 잘려 나간다.
스트리밍Streaming
완성된 답을 기다리지 않고 만들어지는 대로 조각을 하나씩 흘려보내는 응답 방식.
체감 속도는 좋아지지만 총 시간은 그대로다. 답 전체를 검사한 뒤 보여 주기가 어려워지는 것도 이 때문이다.
지연 시간Latency
요청을 보내고 답을 받기까지 걸린 시간. 한 사람이 느끼는 느림의 크기다.
처리량이 좋아져도 이건 나빠질 수 있다. 묶어서 돌리면 서버는 이득이고 기다리는 쪽은 손해라 둘을 같이 봐야 한다.
배치 크기Batch size
한 번에 묶어서 함께 처리하는 요청이나 학습 예시의 개수.
GPU는 묶을수록 효율이 오르고 기다리는 시간도 같이 는다. 학습 논문에 적힌 숫자와 서빙 설정의 숫자는 다른 이야기다.
비결정성Nondeterminism
같은 입력에 같은 설정을 줘도 실행할 때마다 답이 조금씩 달라지는 성질.
어제 통과한 테스트가 오늘 깨지는 이유다. 온도를 0으로 내려도 GPU가 더하는 순서가 배치마다 바뀌어 완전히는 안 없어진다.
모델 라이선스Model license
내려받은 가중치를 어디까지 써도 되는지 정해 둔 문서.
공개됐다는 말과 마음대로 써도 된다는 말은 다르다. 사용자 수 상한이나 상업 이용 금지가 붙는 경우가 흔하다.
오픈소스 모델Open-source model
가중치뿐 아니라 학습 코드와 데이터까지 열어 둔 배포를 가리키는 엄밀한 말.
모델 카드에 이렇게 써 있어도 실제로는 가중치만 열린 경우가 대부분이다. 어느 쪽인지는 라이선스를 봐야 갈린다.
허깅페이스Hugging Face
모델 파일과 데이터셋을 올리고 내려받는, 사실상 공용 창고가 된 사이트.
공개됐다는 소식은 대개 여기 올라왔다는 뜻이다. 모델 카드·라이선스·양자화본이 한 페이지에 같이 붙어 있다.
채팅 템플릿Chat template
역할과 발언을 모델이 학습한 표기법대로 한 줄로 엮어 주는 서식.
직접 돌린 모델이 갑자기 헛소리를 하면 이게 안 맞은 경우가 많다. 모델마다 달라서 가중치와 같이 딸려 온다.