새 AI 모델이 공개될 때마다 개발자들은 성능과 안전성을 측정하기 위해 일련의 평가를 수행한다. 이러한 시험은 필수적이지만, 일정한 한계가 있다. 벤치마크가 사람이 작성한 것이기 때문에, 이미 개념화했고 측정하는 법을 익힌 위험만 시험할 수 있기 때문이다.
이 안전 접근법은 본질적으로 *반응적(reactive)*이다. 이미 알려진 문제를 포착하는 데는 효과적이지만, 정의상 "미지의 미지(unknown unknowns)", 곧 새 모델에서 나타나는 새로운 창발적 행동은 발견할 수 없다. 새 모델을 처음부터 감사하는 일은 백만 줄짜리 코드를 건네받고 "보안 취약점을 찾아 보라"고 요구받는 일과 같다. 무엇을 찾아야 하는지조차 모른다면 거의 불가능한 과제다.
소프트웨어 공학에서는 프로그램이 갱신될 때마다 개발자들이 바로 이 문제와 맞닥뜨린다. 방대한 코드 바다 속에서 작지만 치명적인 변경 지점을 찾아내야 하는 것이다. 그래서 diff 도구가 만들어졌다. 어떤 프로그래머도 업데이트를 승인하기 위해 백만 줄을 처음부터 다시 감사하지 않는다. 대신 diff 도구가 가리키는, 실제로 바뀐 50줄만 검토한다.
최근 몇 년 사이 AI 안전 연구자들도 같은 원리를 신경망에 적용하기 시작했다. 이를 **모델 차이 분석(model diffing)**이라고 한다. 기존 연구는 model diffing이 파인튜닝 동안 모델이 어떻게 바뀌는지 이해하는 강력한 방법임을 보여 주었다. 예를 들어 채팅 모델 행동을 이해하거나, 숨은 백도어를 드러내거나, 바람직하지 않은 창발 행동을 찾는 데 쓰였다.
새로운 Anthropic Fellows 연구 프로젝트는 model diffing을 가장 어렵고 일반적인 사용 사례, 곧 아키텍처가 완전히 다른 모델들 사이의 비교로 확장한다. AI 모델을 위한 범용 diff 도구를 구축하면, 더 이상 건초더미에서 바늘을 찾을 필요 없이 비교 결과가 잠재적으로 위험한 행동 차이를 자동으로 가리키게 할 수 있다.
물론 이 방법이 만능은 아니다. 단 한 번의 diff로도 수천 개의 고유 특성(feature), 즉 모델을 분해할 때의 기본 단위가 표면화될 수 있으며, 그중 실제로 의미 있는 행동 위험에 대응하는 것은 일부에 불과할 수 있다. 그럼에도 이 방법은 재현율이 높은 선별 도구(high-recall screening tool)로 작동하면서, 모델들이 어디에서 갈라질 수 있는지 식별하게 해 준다.
우리 도구가 표시한 수천 개 후보 가운데, 우리는 특정 모델 행동의 스위치처럼 작동하는 여러 개념을 식별하고 검증했다.1 예를 들면 다음과 같다.
- Qwen3-8B와 DeepSeek-R1-0528-Qwen3-8B에서 발견된 "중국 공산당 정렬(Chinese Communist Party Alignment)" 특성. 이 특성은 중국 개발 모델들에서 친정부 검열과 선전을 제어하며, 비교 대상으로 삼은 미국 모델들에는 존재하지 않았다.
- Meta의 Llama-3.1-8B-Instruct에서 발견된 "미국 예외주의(American Exceptionalism)" 특성. 이 특성은 미국 우월성을 주장하는 방향으로 모델의 응답을 기울게 만들며, 비교된 중국 모델에는 없는 제어축이다.
- OpenAI의 GPT-OSS-20B에만 있는 "저작권 거부 메커니즘(Copyright Refusal Mechanism)" 특성. 이 특성은 저작권이 있는 자료 제공을 거부하는 경향을 제어하며, 비교 대상으로 삼은 모델에는 없는 행동이다.
분명히 해 둘 점은, 이 방법이 이런 모델 전용 특성을 식별하더라도 그 기원을 판정해 주지는 않는다는 사실이다. 이런 행동은 모델 개발자가 의도적으로 한 훈련 결정의 결과일 수도 있고, 혹은 훈련 데이터로부터 간접적이고 비의도적으로 나타난 것일 수도 있다. 이번 연구는 Anthropic Fellows 프로젝트였기 때문에, 우리는 오픈소스 언어 모델에 초점을 맞췄다.
AI 모델을 위한 이중언어 사전
수상 경력이 있는 백과사전의 최종 편집자라고 상상해 보자. 필자들이 내년 판 원고 전체를 막 넘겨준 상황이다. 내용 대부분은 지금의 신뢰할 수 있는 판과 동일하지만, 최근의 과학적·문화적 발전을 반영하기 위해 새 항목들이 추가되었다. 편집자의 임무는 이 최종 결과물을 검토하는 일이다.
이 일을 효율적으로 하려면 백과사전 전체를 다시 읽지 않을 것이다. 대신 변경 추적기를 이용해 새로 추가된 항목만 분리해 볼 것이다. 새로운 오류가 끼어들 수 있는 곳은 바로 그 추가 구간뿐이기 때문이다. 이것이 model diffing의 핵심이다. 더 구체적으로 말하면, 이 접근법은 **기초 모델 대 파인튜닝 모델 차이 분석(base-vs-finetune model diffing)**이라 불린다. 신뢰할 수 있는 기존 모델의 변형판으로 새 모델이 나왔을 때 가장 적합한 도구다.
하지만 복잡도를 더 높일 수 있다. 미국 독자를 위한 백과사전을 프랑스 독자를 위해 현지화한 새 판을 회사가 내놓는다고 상상해 보자. 이 새 판 역시 원래 판의 신뢰할 수 있는 개념 대부분을 공유하지만, 프랑스 역사, 문화, 정치사상에 관한 새 항목을 추가해 현지 적합성을 확보했다. 이런 항목은 원래 판에 없다.
편집자의 핵심 목표는 여전히 같다. 오류와 편향 위험이 가장 큰 곳이 새 항목이므로, 변경 추적기를 이용해 그것들을 보고 싶다. 하지만 이 경우 기존 도구는 무용지물이다. 서로 다른 언어를 가로질러 작동하는 도구가 필요하기 때문이다.
이 훨씬 어려운 도전이 바로 **교차 아키텍처 모델 차이 분석(cross-architecture model diffing)**의 문제와 닮아 있다. 기원이 다르고 내부 "언어"도 다른 두 모델을 비교하는 일이다.
이런 유형의 diffing을 위한 기존 연구 도구인 표준 crosscoder는 기본적인 이중언어 사전과 비슷하다. 영어의 sun이 프랑스어 soleil에 대응한다는 식으로, 이미 존재하는 단어들을 짝짓는 데는 능하다.
하지만 치명적인 결함도 있다. 이 도구는 연결을 찾는 데 너무 집중한 나머지, 한 언어에만 존재하는 단어를 찾아내는 데 약하다. 프랑스어 dépaysement처럼 "외국에 와 있다는 특정한 감각"을 뜻하는 단어를 만나면, 이를 disorientation 같은 불완전한 번역으로 억지로 맞추려 한다. 그 결과 편집자에게 "이건 새것이 아니다. 이미 본 것이다"라는 잘못된 신호를 보내고, 세심히 검토해야 할 새 항목을 놓치게 만든다.
이를 해결하기 위해 우리는 더 나은 이중언어 사전, 곧 **Dedicated Feature Crosscoder (DFC)**를 만들었다. 모든 것을 한꺼번에 맞추려는 거대한 단일 사전 대신, DFC는 구조적으로 세 구역으로 나뉜다.
- 공유 사전(shared dictionary): 두 언어가 모두 이해하는 개념, 예를 들어
sun(soleil)이나water(eau)를 대응시키는 핵심 이중언어 사전이다. - "프랑스어 전용" 구역: dépaysement 같은 프랑스어 고유 문화 개념을 따로 기록하는 전용 공간이다.
- "영어 전용" 구역: 영어에만 있는 단어를 위한 구역이다. 여기에는, 별도로 찾지 않았지만 좋은 것을 발견하는 경험을 뜻하며 프랑스어에 단일 단어 대응어가 없는 serendipity 같은 개념이 들어간다.
이처럼 각 언어에만 있는 단어를 위한 전용 구역이 있기 때문에, 우리의 이중언어 사전은 불완전한 번역을 억지로 강요하는 함정을 피한다. 그 결과 백과사전의 새 항목이 제대로 새로운 것으로 표시되고, 편집자는 정말 검토가 필요한 부분에 집중할 수 있다.
안전 감사자 관점에서 보면, DFC는 새 AI 모델에만 존재하는 "단어"를 식별해, 이미 본 적 있는 특성보다 더 면밀한 검토가 필요한 대상을 가려낼 수 있다.
모델 스티어링(steering)
이 방법이 잠재적인 새 특성을 찾아냈다고 해서, 그것이 우리가 생각하는 행동을 실제로 제어한다고 어떻게 확신할 수 있을까. 한 가지 방법은 모델이 실행되는 동안 그 특성을 인위적으로 약화하거나 증폭한 뒤 출력이 어떻게 바뀌는지 관찰하는 것이다. 이는 흔히 **스티어링(steering)**이라고 부르는 기법이다.
예컨대 검열을 일으킨다고 믿는 특성이 있다면, 모델이 응답을 생성하는 동안 그 특성을 억제해 볼 수 있다. 그 결과 모델 출력이 일관되게 덜 검열된 방향으로 바뀐다면, 해당 특성과 모델 행동 사이에 실제 인과관계가 있음을 보여 주는 증거가 된다. 반대로 특성을 증폭해 행동이 더 강하게 나타나는지도 시험할 수 있다.
주요 오픈 웨이트 AI 모델 사이의 핵심 행동 차이
Llama-3.1-8B-Instruct vs Qwen3-8B
최근 중국 기업이 만든 모델인 DeepSeek의 R1-70B가 중국 공산당에 민감한 주제에 관한 질문에 답변을 거부한다는 발견에 착안해, 우리는 먼저 또 다른 중국 기업 Alibaba의 Qwen3-8B와 미국 기업 Meta의 Llama-3.1-8B-Instruct를 diff했다.
이 diff에서 DFC는 정치적으로 민감한 서로 다른 행동에 대응하는 특성들을 자동으로 분리해 냈다.
Qwen에서는 당 이데올로기와 일치하는 수사를 나타내는 "중국 공산당 정렬" 특성을 발견했다. 이 특성을 억제하면 모델은 원래는 언급을 피하던 톈안먼 광장 학살에 관해서도 이야기하려 한다. 반대로 증폭하면 매우 친정부적인 발화를 생성하게 만들 수 있다.
Llama에서는 "미국 예외주의" 특성을 발견했다. 이 특성을 증폭하면 모델 응답이 균형 잡힌 서술에서 미국 우월성을 강하게 주장하는 방향으로 이동한다. 억제했을 때는 눈에 띄는 효과가 없었다.
그림 1: 왼쪽: 톈안먼 광장에 관한 프롬프트에서, Qwen 전용 "중국 공산당 정렬" 특성을 억제하면 모델의 검열이 풀린다. 이를 증폭하면 모델은 매우 친정부적인 발화를 출력한다. 오른쪽: Llama 전용 "미국 예외주의" 특성을 증폭하면 모델은 미국 우월성 서사에 맞는 텍스트를 생성한다. 억제했을 때는 눈에 띄는 효과가 없어 그림에서 생략했다.
GPT-OSS-20B vs DeepSeek-R1-0528-Qwen3-8B
우리는 또 더 강력한 오픈소스 모델인 OpenAI의 GPT-OSS-20B와 DeepSeek의 DeepSeek-R1-0528-Qwen3-8B도 비교했다.
GPT 모델에서는 "저작권 거부(Copyright Refusal)" 특성을 발견했다. 이는 두 모델 사이의 핵심 행동 차이에 직접 대응한다. DeepSeek는 요청받으면 저작권이 있는 자료를 곧바로 생성하려 드는 반면, GPT는 그런 요청을 종종 거부한다. 이 특성을 억제하면 거부 메커니즘이 꺼지고, 모델은 요청된 자료를 생성하려 한다. 다만 이것이 실제 저작권 텍스트를 출력하게 만들지는 않는다. 보통은 짧은 일부만 내놓은 뒤 빠르게 환각으로 무너진다. 반대로 이 특성을 키우면 모델이 과도하게 거부하게 되어, 예를 들어 땅콩버터 젤리 샌드위치 레시피조차 저작권이 있어 공유하면 안 된다고 믿게 된다.
DeepSeek 모델에서는 앞선 발견을 다시 확인했다. 또 하나의 "중국 공산당 정렬" 특성을 식별했기 때문이다. 이 특성은 Qwen에서 찾은 것과 똑같이 작동해, 검열과 선전의 강도를 높이거나 낮출 수 있게 한다. 이는 우리 방법이 서로 다른 모델들에서 유사한 행동을 일관되게 식별할 수 있음을 보여 준다.
그림 2: 왼쪽: GPT-OSS-20B 전용 "저작권 거부" 특성을 억제하면 저작권 거부 메커니즘이 꺼지고, 모델은 Bohemian Rhapsody 가사를 출력하려 시도한다. 다만 완전하지는 않다. 반대로 다이얼을 올리면 땅콩버터 젤리 샌드위치 레시피조차 저작권이 있다고 잘못 믿고 출력을 거부한다. 오른쪽: 톈안먼 광장 관련 프롬프트에서 DeepSeek 전용 "중국 공산당 정렬" 특성은 Qwen에서 찾은 것과 같은 방식으로 작동한다. 다이얼을 내리면 더 사실에 가까운 사건 설명이 나오고, 올리면 매우 친정부적인 발화가 출력된다.
결론
AI 모델이 빠르게 진화하는 상황에서, 기존 시험에서 얼마나 잘 수행하는지만 아는 것으로는 충분하지 않다. 모델이 어떻게 변하고 있으며 어떤 새로운 위험을 들여오는지도 이해해야 한다. 교차 아키텍처 모델 차이 분석은 행동 차이를 자동으로 표시함으로써 이러한 시스템을 감사하는 새로운 방법을 제공한다.
우리가 살펴본 DeepSeek와 Qwen 모델에서 발견된 "중국 공산당 정렬" 특성은, 어떤 모델에는 있고 다른 모델에는 없는 구체적이고도 관련성 높은 행동의 한 예다. 이것이야말로 전통적 시험이 놓치기 쉽지만, model diffing이 포착하도록 설계된 종류의 "미지의 미지"다.
이 발견은 꽤 일관적이다. 중국 공산당 정렬 특성은 우리가 접근법을 시험한 다섯 번 모두에서 독립적으로 재발견되었고, 미국 예외주의는 다섯 번 중 네 번에서 다시 발견되었다. 아직 이 방법을 프런티어 모델에 적용하지는 않았지만, 초기 결과는 DFC가 감사자의 도구 상자에서 유용한 일부가 될 수 있음을 시사한다.
특히 유용한 응용 사례 하나는 모델이 업데이트될 때 이를 모니터링하는 일이다. 2025년 4월 OpenAI의 GPT-4o에서 나타난 영합성(sycophancy)은 이전 버전과 비교할 때 우려스러운 행동 변화였다. 만약 우리 같은 도구로 업데이트된 모델과 이전 버전을 diff했다면, 이 새로운 영합적 행동의 출현을 자동으로 표시해 출시 전에 개발자가 개입할 수 있었을지도 모른다.
차이에 초점을 맞추면, 제한된 안전 자원을 정말 중요한 변화에 집중시키면서 AI를 더 지능적으로 감사할 수 있다.
논문 전문은 여기에서 읽을 수 있다.
감사의 말
이 글은 Thomas Jiralerspong(Anthropic Fellows Program)과 Trenton Bricken(Anthropic Alignment Science)이 작성했다.
각주
Footnotes
-
다른 Anthropic Fellows 해석 가능성 연구와 마찬가지로, 이 논문은 오픈소스 모델의 행동을 분석한다. 연구에 포함한 네 모델, 즉 Llama-3.1-8B-Instruct, Qwen3-8B, GPT-OSS-20B, DeepSeek-R1-0528-Qwen3-8B는 Dedicated Feature Crosscoder가 눈에 띄는 행동 차이를 검출할 수 있는지 시험하기에 적합하다는 기준으로 선정했다. ↩