CUDA
엔비디아 칩에 직접 계산을 시키는 프로그래밍 층. 거의 모든 딥러닝 라이브러리가 이 위에 올라가 있다.
엔비디아를 못 벗어나는 이유가 칩이 아니라 여기다. 커널을 손으로 짰다는 글이 자랑인 것도 이 층 이야기다.
05
인프라·경제
카드에 자꾸 나오는 용어와, 그걸 알고 나면 무엇이 달리 읽히는지.
25개
VRAM
가속기에 달려 있는 메모리 용량. 가중치와 중간 계산이 전부 여기 들어가야 모델이 돌아간다.
24GB면 돌아간다는 문장이 곧 이 숫자다. 내려받기 전에 이 계산을 먼저 하면 헛수고가 줄어든다.
메모리 대역폭Memory bandwidth
초당 메모리에서 연산 유닛으로 실어 나를 수 있는 데이터 양. 토큰을 한 개씩 뽑는 속도를 여기서 잡는다.
추론이 느린 이유는 대개 계산이 아니라 짐 나르기다. 양자화와 배칭이 먹히는 이유가 전부 여기서 나온다.
GPU
같은 연산을 수천 개 코어로 동시에 굴리는 칩. 딥러닝 학습과 추론은 사실상 이 칩 위에서만 돈다.
모델 카드에 붙은 숫자 대부분이 결국 이 칩 몇 장이 필요한가로 번역된다. 파라미터도 양자화도 그 계산이다.
TPU
구글이 딥러닝 전용으로 만든 칩. 직접 사는 게 아니라 구글 클라우드로 빌려 쓰고, 엔비디아 대안 자리에 있다.
엔비디아 독점 기사에 대안으로 늘 같이 나오는 이름. 다만 옮기려면 스택을 CUDA에서 갈아타야 하고, 그 이사 비용이 진짜 값이다.
FLOPs
부동소수점 곱셈·덧셈을 몇 번 했는지 센 값. 학습 한 번에 든 계산량을 재는 공용 단위다.
논문에 적힌 10의 25제곱 FLOPs 같은 숫자는 곧 돈이다. 규제 문턱도 같은 단위로 그어져 정책 문서에 그대로 나온다.
GPU-시간GPU-hour
가속기 한 장을 한 시간 돌린 양. 학습 비용을 세는 기본 단위이고 시장 시세가 붙어 있다.
발표되는 학습비는 대개 이 단위에 시간당 시세를 곱한 값이다. 시세만 알면 그 숫자가 진짜인지 바로 검산된다.
GPU 클러스터GPU cluster
수천에서 수십만 장의 가속기를 초고속 회선으로 묶어 한 덩어리처럼 쓰는 설비.
장수만 세면 틀린다. 카드끼리 잇는 회선이 느리면 절반이 놀고, 그래서 회사들이 회선 규격을 자랑한다.
HBMHigh Bandwidth Memory (HBM)
DRAM을 여러 층으로 쌓아 연산 칩 바로 옆에 붙인 메모리 규격. 대역폭을 벌려고 이렇게 만든다.
AI 칩 품귀 기사의 진짜 주어는 대개 이 메모리다. 로직 공정이 아니라 여기와 그걸 붙이는 패키징에서 물량이 막힌다.
배치 APIBatch API
급하지 않은 요청을 모아 하루 안에 돌려주는 대신 값을 절반으로 깎아 주는 호출 방식.
평가와 라벨링과 대량 요약은 실시간일 필요가 없다. 안 쓰면 같은 일을 두 배 값에 시키는 셈이다.
토큰당 원가Cost per token
모델 사용료를 재는 단위. 보낸 글과 받은 글의 조각 수로 값을 매기고 보통 100만 개 기준으로 표시된다.
입력값과 출력값이 몇 배 차이 나서, 긴 문서를 넣는 앱과 긴 답을 뽑는 앱은 원가 구조가 아예 다르다.
웨이퍼 스케일Wafer-scale
실리콘 원판을 칩으로 잘라내지 않고 통째로 하나의 프로세서로 쓰는 설계.
카드 사이를 잇는 회선 문제를 아예 없애려는 접근. 엔비디아 대안 기사에 이 이름이 나오면 대개 그 주장이다.
데이터센터 전력Datacenter power
학습과 서빙 설비를 돌리는 데 필요한 전기. 메가와트 단위로 계약하고 그 계약이 부지를 정한다.
요즘 병목은 칩이 아니라 전기다. AI 기사에 전력회사나 국가 이름이 나오는 건 대부분 이 줄 때문이다.
인터커넥트Interconnect
가속기끼리, 또 서버끼리 잇는 전용 회선으로, 한 스텝마다 모든 카드가 계산 결과를 주고받는 통로다.
엔비디아가 칩보다 이걸 더 자랑하는 이유. 여기가 좁으면 카드를 더 꽂아도 학습 시간이 안 줄어서, 장수보다 묶는 방식을 본다.
텐서 병렬Tensor parallelism
가중치 행렬을 여러 장의 가속기에 쪼개 얹어, 한 층을 그 장들이 동시에 계산하게 하는 방식.
한 장에 안 들어가는 모델을 굴리는 기본 수단. vLLM 실행 옵션에 이 숫자가 있고, 잘못 잡으면 카드가 놀거나 메모리가 터진다.
랙 스케일Rack-scale
가속기 수십 장을 한 랙에 넣고 내부를 한 덩어리로 묶어, 랙 하나가 최소 구매·배치 단위가 되는 설계.
요즘 발표가 카드 몇 장이 아니라 랙 몇 개로 세는 이유. 전력과 냉각 요구도 랙 단위라 기존 데이터센터에 그냥 안 들어간다.
액체 냉각Liquid cooling
공기 대신 물이나 절연유를 칩에 직접 흘려 열을 빼는 방식으로, 랙 하나가 수십 킬로와트를 먹으면 공랭으로는 감당이 안 된다.
신형 칩 도입이 늦는 이유는 대개 칩 수급이 아니라 건물이다. 배관을 새로 깔아야 하면 그건 주문이 아니라 공사다.
콜드 스타트Cold start
쉬고 있던 서버에 첫 요청이 들어와 가중치를 가속기 메모리에 다 올릴 때까지 걸리는 지연.
서버리스 GPU가 싼 이유이자 느린 이유. 100GB짜리 모델은 첫 응답만 수십 초라, 상시 띄워 두는 값과 저울질하게 된다.
스팟 인스턴스Spot instance
남는 용량을 크게 깎아 빌려주는 대신, 사업자가 필요해지면 짧은 통보만 하고 되가져가는 임대 방식.
학습비를 반 넘게 깎아 주지만 언제 끊겨도 되게 짜야 한다. 체크포인트를 자주 저장하라는 조언이 여기서 나온다.
예약 용량Reserved capacity
몇 달에서 몇 년치 가속기 물량을 미리 계약해 값을 깎고 자리를 잡아 두는 방식으로, 안 써도 돈은 나간다.
수십억 달러 클라우드 계약 기사는 대개 이미 쓴 돈이 아니라 앞으로 쓰겠다는 약속이다. 값보다 자리가 먼저 귀해졌다.
네오클라우드Neocloud
GPU 임대만 파는 신흥 클라우드 사업자로, 대형 사업자가 끼워 파는 관리형 서비스는 거의 없다.
발표문에 낯선 클라우드 이름이 나오면 대개 여기다. 값은 싸지만 관리형 서비스가 없어 저장소·네트워크까지 직접 꾸려야 한다.
총소유비용Total cost of ownership
칩값만이 아니라 전기·냉각·사람·감가상각까지 다 더한 값으로, 직접 사는 쪽과 빌리는 쪽을 여기서 비교한다.
직접 사는 게 싸 보이는 계산은 대개 전기와 사람을 뺀 것이다. 가동률이 낮으면 사 둔 카드가 제일 비싸다.
레이트 리밋Rate limit
한 계정이 분당 보낼 수 있는 요청 수와 토큰 수에 걸어 둔 상한으로, 넘기면 429로 튕겨 나온다.
새 모델이 나와도 처음엔 이 상한 때문에 제대로 못 굴린다. 평가를 돌리다 중간에 죽으면 모델이 아니라 여기부터 본다.
데이터 소재지Data residency
요청과 저장물이 물리적으로 어느 나라 서버에 머무느냐로, 취향이 아니라 계약과 법으로 묶인다.
국내 도입이 막히는 지점은 대개 성능이 아니라 이 줄이다. 쓸 수 있는 리전이 없으면 같은 모델도 그 회사는 못 쓴다.
같이 볼 것 제로 데이터 보존 · 개인식별정보(PII) · EU AI법 · 서빙
GPU 가동률GPU utilization
빌린 가속기가 실제 계산에 쓰인 시간의 비율로, 나머지는 데이터와 네트워크를 기다리며 논 시간이다.
값은 시간으로 나가고 일은 이 비율만큼만 된다. 정직한 지표는 MFU고, 학습 글의 40%가 자랑인 것도 바닥이 그만큼 낮아서다.