언센서드 모델Uncensored Model
공개 가중치에서 거절 동작을 제거하거나 약화시킨 뒤 다시 배포한 파생 모델.
이름에 Uncensored가 붙어 있으면 원본과 가중치가 다르다는 뜻이고, 원본 벤치마크와 안전 결과를 그대로 인용하면 안 된다.
05
안전·정책
카드에 자꾸 나오는 용어와, 그걸 알고 나면 무엇이 달리 읽히는지.
27개
휴먼 인 더 루프Human in the Loop
위험한 동작 앞에 사람 승인 단계를 두어, 모델이 실행까지 혼자 끝내지 못하게 막는 설계.
에이전트 제품의 안전 대부분이 여기 걸린다. 승인 창이 너무 잦아 습관적으로 누르게 되면 게이트는 이름만 남는다.
같이 볼 것 에이전트 샌드박싱 · 간접 프롬프트 인젝션 · 가드레일
프롬프트 인젝션Prompt Injection
모델에게 준 원래 지시를, 입력에 섞여 들어온 문장이 밀어내고 대신 실행되게 만드는 공격.
지시와 데이터가 같은 창구로 들어오는 구조라 깔끔한 해법이 없다. 도구를 붙인 에이전트는 이 항목부터 본다.
같이 볼 것 간접 프롬프트 인젝션 · 에이전트 샌드박싱 · 가드레일
레드팀Red Teaming
출시 전에 사람이나 자동 공격기가 일부러 모델을 깨보고, 뚫린 사례를 모아 고치게 하는 절차.
QA의 탐색적 테스트와 같은 자리다. 레드팀을 돌렸다는 문장만 있고 무엇이 뚫렸는지 없으면 절반만 말한 것이다.
정렬Alignment
모델의 출력이 만든 쪽이 의도한 규범과 사용자 목적에 맞게 움직이도록 훈련하고 조정하는 일.
성능이 올랐다는 발표와 정렬이 유지됐다는 발표는 서로 다른 주장이다. 재는 방법도 다르고, 뒤쪽 숫자가 늘 더 늦게 나온다.
헌법적 AIConstitutional AI
사람이 유해성 라벨을 다는 대신, 글로 적은 원칙 목록에 비추어 모델이 자기 답을 비판하고 고치게 하는 훈련법.
원칙이 문서로 나와 있으니 왜 이걸 거절하느냐를 문서를 걸고 따질 수 있다. 사람 라벨을 안 사도 되니 굴리는 규모도 달라진다.
탈옥Jailbreak
역할극, 인코딩, 긴 유도문 따위로 모델의 거절 규칙을 우회해 원래 막힌 출력을 끌어내는 입력.
새 모델이 뜨면 며칠 안에 탈옥 보고가 붙는다. 막았다는 발표와 실제로 막혔는지 사이에는 늘 시차가 있다.
간접 프롬프트 인젝션Indirect Prompt Injection
공격자가 모델에게 직접 말하지 않고, 나중에 읽힐 웹페이지나 문서나 코드 주석에 명령을 미리 심어두는 방식.
사용자는 아무 잘못도 안 했는데 에이전트가 남의 문장을 따른다. 그래서 세션 로그만 뒤지면 원인이 안 나온다.
가드레일Guardrails
모델 바깥에 두는 검사 층. 입력과 출력을 규칙이나 분류기로 걸러 정해진 범위를 벗어나면 막거나 바꾼다.
재학습 없이 하루면 조일 수 있어 사고 직후 대응은 대개 여기서 난다. 대신 우회도 여기가 제일 쉽다.
안전 분류기Safety Classifier
문장이나 이미지가 금지 범주에 드는지 판정하는 별도 소형 모델. 본 모델 앞뒤에 붙어 통과 여부를 정한다.
정확도가 아니라 오탐과 미탐의 비율이 제품 체감을 정한다. 임계값 한 줄을 옮기면 과하게 막히거나 사고가 난다.
과잉 거절Over-refusal
위험하지 않은 요청까지 모델이 거절하는 현상. 안전 설정을 세게 조일수록 같이 늘어난다.
안전 발표에 거절률이 같이 실리는 이유다. 한쪽 숫자만 보면 더 안전해진 변경과 덜 쓸모 있어진 변경이 같은 변경이다.
워터마킹Watermarking
생성물에 사람이 알아채지 못할 표식을 심어, 나중에 기계가 출처를 확인하게 하는 기법.
제거 도구 레포가 나란히 올라오는 게 이 기술의 현실이다. 표식은 편집과 재인코딩을 견뎌야 비로소 의미가 있다.
같이 볼 것 C2PA · AI 슬롭 · 학습 데이터 저작권
C2PA
파일에 촬영과 생성과 편집 이력을 서명해 붙이는 출처 표기 표준. 카메라와 편집기와 생성 도구가 함께 쓴다.
워터마킹은 표식이 지워지느냐의 싸움이고, 이쪽은 메타데이터가 남아 있느냐의 싸움이다. 스크린샷 한 장이면 대개 떨어져 나간다.
제로 데이터 보존Zero Data Retention
API로 보낸 입력과 응답을 처리한 뒤 저장하지 않는 계약 옵션. 로그에도 학습에도 남기지 않는다.
사내 코드나 기획서를 모델에 넣어도 되느냐를 가르는 조건이 대개 이 한 줄이다. 기본값이 아니라 별도 신청인 경우가 많다.
같이 볼 것 개인식별정보(PII) · 머신 언러닝 · 학습 데이터 저작권
개인식별정보(PII)PII
이름이나 연락처나 계정 아이디처럼 한 사람을 특정할 수 있는 정보. 로그와 프롬프트에 섞여 들어가는 게 문제다.
프롬프트도 로그다. 재현 스텝이나 버그 리포트를 실물 그대로 붙여 넣는 순간 그 로그는 개인정보 저장소가 된다.
머신 언러닝Machine Unlearning
이미 학습된 모델에서 특정 데이터의 영향만 걷어내는 기법. 전체 재학습 없이 해내는 것이 목표다.
삭제 요구가 들어와도 가중치는 데이터베이스처럼 행을 지울 수 없다. 지웠다는 발표는 대개 근사치라는 뜻이다.
같이 볼 것 개인식별정보(PII) · 제로 데이터 보존 · 학습 데이터 저작권
데이터 포이즈닝Data Poisoning
학습이나 미세조정에 쓰일 데이터에 조작된 표본을 섞어, 특정 조건에서만 공격자가 원하는 대로 반응하게 만드는 공격.
공개 데이터셋과 남의 체크포인트를 그대로 받아 쓰는 흐름에서, 겉으로는 벤치마크가 멀쩡한 게 이 공격의 특징이다.
모델 카드Model Card
모델의 용도와 학습 데이터 개요와 한계와 평가 결과를 정해진 항목으로 적어 배포에 붙이는 문서.
허깅페이스 페이지에서 라이선스와 금지 용도가 적힌 곳이 여기다. 비어 있는 칸이 그 팀이 확인하지 않은 항목이다.
같이 볼 것 시스템 카드 · 프런티어 모델 · 학습 데이터 저작권
시스템 카드System Card
모델 하나가 아니라 배포된 제품 전체의 안전 평가와 완화 조치와 남은 위험을 묶어 공개하는 문서.
프런티어 모델 발표일에 같이 나오는 두꺼운 PDF가 대개 이것이고, 벤치마크 표보다 여기 실린 실패 사례가 더 쓸모 있다.
같이 볼 것 모델 카드 · 위험 능력 평가 · 책임 있는 확장 정책(RSP)
책임 있는 확장 정책(RSP)Responsible Scaling Policy
위험 수준을 단계로 나누고, 어떤 능력이 확인되면 어떤 보안과 배포 조치를 켤지 미리 문서로 약속하는 규칙.
회사마다 이름만 다를 뿐 같은 종류의 문서다. 법이 아니라 자율 약속이라 단계 판정도 그 회사가 하지만, 단계가 오르면 출시 조건은 실제로 바뀐다.
EU AI법EU AI Act
용도별 위험 등급으로 AI 시스템을 나누고 등급마다 금지 사항과 의무를 지우는 유럽연합 규정.
같은 모델도 채용 심사에 쓰면 고위험이고 게임에 쓰면 아니다. 의무는 모델 자체가 아니라 그걸 어디에 붙였는지에 붙는다.
같이 볼 것 프런티어 모델 · 개인식별정보(PII) · 모델 카드
위험 능력 평가Dangerous Capability Evaluation
생물, 사이버, 자율 행동처럼 오용되면 피해가 큰 능력이 모델에 생겼는지 출시 전에 재는 평가.
일반 벤치마크와 방향이 반대다. 점수가 낮아야 통과인 표라서, 높은 숫자를 자랑으로 읽으면 잘못 읽은 것이다.
같이 볼 것 레드팀 · 책임 있는 확장 정책(RSP) · 시스템 카드
아첨Sycophancy
사용자의 의견에 맞추려고 모델이 사실과 판단을 굽히는 성향. 선호 학습이 동의에 보상을 주면서 굳어진다.
리뷰나 QA에 쓸 때 제일 비싼 실패다. 동의하는 답은 검증이 아니라 동의라서, 통과했다는 말이 통과를 뜻하지 않는다.
해석가능성Interpretability
모델 내부의 어떤 계산이 어떤 출력을 만들었는지 사람이 읽을 수 있게 밝히는 연구 분야.
행동 관찰은 시험에서 그렇게 답했다까지만 말한다. 왜 그렇게 답하는지를 대는 주장은 대부분 여기서 나온다.
AI 슬롭AI Slop
검토 없이 대량 생성돼 검색 결과와 레포와 피드를 채우는 저품질 산출물을 부르는 말.
anti-slop 같은 도구가 계속 나오는 배경이다. 생성 비용이 0에 가까워지면 검토 비용만 통째로 남는다.
같이 볼 것 워터마킹 · C2PA · 학습 데이터 저작권
학습 데이터 저작권Training Data Copyright
저작물을 모델 학습에 쓴 것이 허용되는지, 권리자가 거부하거나 보상받을 수 있는지를 두고 다투는 문제.
모델 카드의 데이터 출처 항목이 비어 있는 이유가 대개 여기 있다. 판결에 따라 이미 풀린 가중치도 못 돌릴 수 있다.
에이전트 샌드박싱Agent Sandboxing
에이전트가 쓰는 셸과 파일과 네트워크를 격리된 환경으로 제한해, 사고가 바깥으로 번지지 않게 하는 조치.
에이전트 벤치마크가 내세우는 자율성 점수는 대개 격리된 컨테이너 안에서 나온 숫자다. 같은 설정을 회사 노트북에 얹으면 다른 이야기가 된다.
같이 볼 것 휴먼 인 더 루프 · 프롬프트 인젝션 · 간접 프롬프트 인젝션