트랜스포머Transformer
문장 안의 모든 토큰이 서로를 참조하며 가중치를 매기는 층을 쌓아 만든 신경망 구조.
골격은 2017년 이후 거의 그대로다 — 새 모델 발표에서 실제로 바뀌는 곳은 대개 어텐션과 라우팅 두 군데뿐이다.
05
모델 구조
카드에 자꾸 나오는 용어와, 그걸 알고 나면 무엇이 달리 읽히는지.
28개
어텐션Attention
각 토큰이 다른 토큰들을 얼마나 볼지 점수로 정해 그 비율대로 정보를 섞는 계산.
입력이 길어지면 이 계산이 제곱으로 늘어난다 — 긴 컨텍스트와 추론 비용 이야기가 늘 여기로 돌아오는 이유다.
같이 볼 것 트랜스포머 · KV 캐시 · FlashAttention · GQA나온 자리 논문
MoEMixture of Experts
여러 갈래의 하위망 중 라우터가 고른 일부만 켜서 토큰을 처리하는 구조.
큰데 빠르다는 자랑은 거의 이것이다 — 다만 전문가 전부를 메모리에 올려야 해서 VRAM 요구는 줄지 않는다.
멀티모달Multimodal
글·이미지·소리·영상처럼 종류가 다른 입력을 한 모델이 함께 다루는 성질.
이미지도 된다는 말이 다 같지 않다 — 읽기만 하는지 만들어내기도 하는지 카드에서 확인해야 한다.
디코더 온리Decoder-only
인코더 없이 층 한 갈래만 두고, 앞선 토큰만 보도록 가려서 다음 토큰을 예측하게 한 구성.
GPT·Qwen·DeepSeek이 전부 이 구성이라, 한 조각씩 만든다는 사실이 지연·스트리밍·과금의 출발점이 된다.
인코더Encoder
입력을 한 번에 읽어 의미를 담은 숫자 벡터로 바꾸는 부분, 스스로 글을 만들지는 않는다.
BERT처럼 이쪽만으로 된 모델은 채팅을 못 한다 — 분류·검색에 쓰라고 만든 것이라 붙이는 방식부터 다르다.
GQAGrouped-query attention
여러 질의 헤드가 키와 값을 나눠 쓰게 해 캐시 크기를 줄인 어텐션 변형.
이제 사실상 기본값이라, 이 표기가 없는 옛 모델은 같은 크기에서도 긴 대화 메모리를 몇 배로 먹는다.
같이 볼 것 KV 캐시 · 어텐션 · FlashAttention
RoPERotary position embedding
토큰의 순서를 벡터를 회전시키는 방식으로 심어 넣는 위치 표기법.
컨텍스트를 늘렸다는 발표는 대개 이 회전 주기를 다시 잡은 것이고, 그래서 학습 길이 밖에서 품질이 흔들린다.
활성 파라미터Active parameters
토큰 하나를 처리할 때 실제로 계산에 참여하는 가중치의 수.
30B A3B 같은 이름은 30B를 담고 3B만 굴린다는 뜻 — 속도는 뒷숫자로, 메모리는 앞숫자로 읽어야 한다.
덴스 모델Dense model
토큰마다 모든 가중치를 빠짐없이 쓰는 전통적인 구성.
같은 27B라도 이쪽은 27B를 전부 계산한다 — 느린 대신 동작이 고르고 파인튜닝·양자화 선례가 훨씬 많다.
파라미터 수Parameter count
모델이 담고 있는 학습된 숫자의 총량, 이름 뒤 B는 십억 단위를 뜻한다.
이 수가 곧 필요한 메모리다 — 대략 파라미터 수 곱하기 가중치당 바이트, 27B를 8비트로 돌리면 27GB쯤 잡는다.
소형 언어 모델Small language model
노트북·휴대폰에서 돌아가도록 크기를 줄여 만든 언어 모델 부류.
속도·비용·개인정보 때문에 고르는 것이지 더 똑똑해서가 아니다 — 비교 상대는 프런티어가 아니라 지연 시간이다.
상태공간모델State space model
지난 내용을 고정 크기 상태에 요약해 이어 가며 길이에 비례하는 비용으로 처리하는 구조.
긴 입력에서 어텐션의 제곱 비용을 피하려는 노선이고, 요즘 나오는 모델은 대개 어텐션과 섞은 하이브리드다.
디퓨전 모델Diffusion model
잡음 덩어리에서 시작해 여러 단계에 걸쳐 잡음을 걷어내며 이미지·영상·소리를 만드는 생성 방식.
토큰을 하나씩 잇는 모델과 달리 단계 수가 곧 품질이자 비용이다 — 발표가 늘 몇 스텝인지부터 내세우는 이유다.
비전 언어 모델Vision-language model
이미지를 벡터로 바꾼 뒤 언어 모델에 붙여 보고 답하게 만든 모델 부류.
화면 캡처를 읽히는 QA 자동화가 여기 걸린다 — 작은 글자와 좌표는 붙은 비전 쪽 해상도 한계에서 먼저 무너진다.
프런티어 모델Frontier model
성능 상한선에 있는 최대 규모 상용 모델을 통칭하는 업계 표현.
정책·안전 발표문에서 규제 대상 범위를 가르는 말로 쓰인다 — 기술 등급이라기보다 선 긋기용 단어에 가깝다.
인스트럭트 모델Instruct model
지시를 따르도록 추가 학습된 판본, 그 전 단계의 순수 예측 판본은 베이스라 부른다.
같은 모델의 베이스 판을 받아 채팅처럼 물으면 답이 이상하다 — 고장이 아니라 다른 판본을 받은 것이다.
리즈닝 모델Reasoning model
답을 내기 전에 중간 풀이 과정을 길게 생성하도록 훈련된 모델 갈래.
사고 예산·긴 사고 과정이 적혀 있으면 이 갈래고, 보이지 않는 풀이 토큰까지 과금되니 쉬운 일에 붙이면 값만 몇 배가 된다.
레이어Layer
어텐션과 피드포워드를 한 묶음으로 쌓은 단위이고, 이 묶음을 수십 번 반복한 것이 모델 본체다.
48층 같은 숫자는 깊이 얘기고, 층은 순서대로 도니 크기가 같아도 깊은 쪽이 토큰당 지연이 크다.
어텐션 헤드Attention head
한 층 안에서 토큰 사이의 서로 다른 관계를 따로 계산했다가 마지막에 합치는 병렬 갈래들.
스펙에 질의 헤드와 KV 헤드가 따로 적히는 이유가 여기고, 여러 헤드가 KV를 공유해 캐시를 줄인 것이 GQA다.
피드포워드 층Feed-forward network
층마다 어텐션 뒤에 붙는 두 겹짜리 변환부로, 모델 파라미터 대부분이 여기 모여 있다.
MoE가 여러 벌로 복제하는 대상이 이 부분이라 전문가를 늘려도 활성 파라미터는 그대로고, 카드에 적힌 SwiGLU도 여기 얘기다.
전문가 라우팅Expert routing
MoE에서 토큰마다 어느 전문가로 보낼지 고르는 작은 게이트 층이고, 이 선택이 활성 파라미터를 정한다.
MoE가 무너지는 지점은 대개 전문가가 아니라 이 선택이라, 소수에게 쏠리지 않게 균형 손실을 따로 걸어 학습한다.
하이브리드 구조Hybrid architecture
층마다 계산 방식을 섞은 설계로, 대부분은 값싼 층으로 돌리고 몇 개 층만 전체 어텐션을 남긴다.
긴 입력에서 메모리가 거의 안 붙는다는 발표는 대개 이 구조고, 층이 섞여 있어 서빙 엔진이 새 커널을 붙이기 전엔 아예 못 돌린다.
슬라이딩 윈도 어텐션Sliding window attention
각 토큰이 전체가 아니라 앞뒤 정해진 구간만 보게 막는 방식으로, 보통 몇 개 층만 전체를 보게 남긴다.
긴 컨텍스트를 싸게 만드는 흔한 수단인데, 창 밖 정보는 층을 여러 번 건너야 닿으니 멀리 박힌 한 줄을 찾는 과제에서 먼저 무너진다.
위치 인코딩Positional encoding
순서를 모르는 계산 구조에 각 토큰이 몇 번째 자리인지 알려주는 장치.
모델이 순서를 아는 통로는 이것뿐이라, 컨텍스트를 몇 배로 늘렸다는 발표는 대개 이 장치를 늘려 잡은 것이고 학습 때 안 본 거리에서 정확도가 샌다.
비전 인코더Vision encoder
이미지를 언어부가 읽을 수 있는 토큰 줄로 바꾸는 앞단으로, 따로 학습해 붙이는 경우가 많다.
이미지 한 장이 토큰 몇 개인지가 여기서 정해져 해상도를 올리면 값이 뛰고, 작은 글씨를 못 읽는 것도 대개 언어부가 아니라 이쪽 한계다.
로짓Logits
매 단계에서 다음 토큰 후보마다 매겨지는 점수로, 확률로 바뀌기 직전 값이다.
구조화 출력·문법 강제·스펙 디코딩은 전부 이 값을 손대는 일이라, API가 안 열어주면 그 제어는 서버 쪽에서만 가능하다.
MLAMulti-head latent attention
키와 값을 작은 잠재 벡터로 압축해 캐시했다가 쓸 때 펼치는 어텐션 변형.
같은 크기에서 KV 캐시가 몇 배 작아져, 긴 컨텍스트를 싸게 파는 모델이 GQA 대신 이걸 썼다고 적으면 그 얘기다.