오늘 앤트로픽은 AI 모델의 내부 작동 방식을 이해하는 데 중요한 진전을 보고한다. 배포 중인 대형 언어 모델 가운데 하나인 Claude Sonnet 내부에서 수백만 개의 개념이 어떻게 표현되는지를 식별했다는 것이다. 이는 현대의 실전급(production-grade) 대형 언어 모델 내부를 처음으로 자세히 들여다본 사례이며, 장기적으로는 AI 모델을 더 안전하게 만드는 데 도움이 될 수 있는 해석 가능성(interpretability) 성과로 제시된다.
우리는 대체로 AI 모델을 블랙박스로 다룬다. 무언가를 넣으면 응답이 나오지만, 왜 그 응답이 다른 응답이 아니라 바로 그 응답이었는지는 분명하지 않다. 이런 불투명성은 모델의 안전성을 신뢰하기 어렵게 만든다. 모델이 어떻게 작동하는지 모른다면, 해롭거나 편향되거나 사실과 다르거나 그 밖에 위험한 응답을 내놓지 않으리라고 어떻게 확신할 수 있겠는가.
블랙박스를 연다고 해서 문제가 곧장 풀리는 것도 아니다. 모델이 응답을 쓰기 전에 "생각하고 있는" 내부 상태는 긴 숫자 목록, 즉 뉴런 활성값(neuron activations)으로 이뤄져 있으며, 그 자체로는 명확한 의미가 없다. 그러나 Claude 같은 모델과 상호작용해 보면, 매우 폭넓은 개념을 이해하고 다룰 수 있다는 점은 분명하다. 문제는 그 개념들을 뉴런만 직접 들여다봐서는 식별하기 어렵다는 데 있다.
알고 보니 각 개념은 많은 뉴런에 걸쳐 분산 표현되며, 동시에 각 뉴런도 많은 개념 표현에 관여한다.
앤트로픽은 이전 연구에서 뉴런 활성 패턴과 사람이 이해할 수 있는 개념을 연결하는 데 일부 진전을 보였다. 여기서 말하는 패턴을 특징(feature)이라 부른다. 연구진은 고전적 기계학습에서 빌려 온 딕셔너리 러닝(dictionary learning) 기법을 사용해, 다양한 맥락에서 반복적으로 나타나는 뉴런 활성 패턴을 분리했다. 그 결과 모델의 어떤 내부 상태도, 많은 활성 뉴런 대신 소수의 활성 특징으로 표현할 수 있게 된다.
이는 사전 속 모든 영어 단어가 글자의 조합으로 이뤄지고, 모든 문장이 단어의 조합으로 이뤄지는 것과 비슷하다. AI 모델 안의 모든 특징은 뉴런의 조합으로 만들어지고, 모든 내부 상태는 특징의 조합으로 만들어진다.
앤트로픽은 2023년 10월, 매우 작은 "토이" 언어 모델에 딕셔너리 러닝을 적용한 결과를 발표한 바 있다. 당시에는 대문자 텍스트, DNA 서열, 인용문 속 성씨, 수학 문맥의 명사, Python 코드의 함수 인자 같은 개념에 대응하는 일관된 특징들을 발견했다.
그 특징들은 흥미로웠지만, 모델 자체는 매우 단순했다. 이후 다른 연구자들도 앤트로픽의 초기 연구보다 다소 더 크고 복잡한 모델에 유사한 기법을 적용했다. 그럼에도 연구진은 지금 실제로 널리 쓰이는 훨씬 더 큰 AI 언어 모델로 이 기법을 확장할 수 있으리라 낙관했고, 그렇게 하면 정교한 모델 행동을 떠받치는 특징들에 대해 훨씬 많은 것을 배울 수 있다고 보았다.
이를 위해서는 규모를 몇 차례의 크기 차원이 아니라, 사실상 수많은 자릿수만큼 끌어올려야 했다. 뒤뜰의 작은 병 로켓에서 새턴 V로 올라가는 셈이었다.
여기에는 두 가지 난제가 있었다. 하나는 공학적 난제로, 모델 규모 자체가 대규모 병렬 계산을 요구했다는 점이다. 다른 하나는 과학적 위험으로, 큰 모델은 작은 모델과 다르게 행동하기 때문에 기존 기법이 그대로 통하지 않을 수도 있었다는 점이다. 다행히 Claude를 학습시키며 축적한 대형 모델 학습 경험과 시스템 역량이 이 대규모 딕셔너리 러닝 실험에도 그대로 도움이 됐다.
연구진은 더 작은 규모에서 방법론을 저렴하게 조율한 뒤 Sonnet 실험에 들어가기 위해, 더 큰 모델의 성능을 작은 모델에서 예측하는 데 쓰이는 스케일링 법칙(scaling law) 철학을 그대로 적용했다.
과학적 위험에 대한 평가는 결국 결과가 말해 준다.
연구진은 Claude 3.0 Sonnet의 중간 층에서 수백만 개의 특징을 성공적으로 추출했다. 이는 계산이 절반가량 진행된 시점의 내부 상태에 대한 거친 개념 지도를 제공하며, 현대의 실전급 대형 언어 모델 내부를 처음으로 자세히 본 사례라고 앤트로픽은 강조한다.
토이 모델에서 발견된 특징들이 비교적 표면적이었다면, Sonnet에서 발견된 특징들은 Sonnet의 고도화된 능력에 걸맞은 깊이와 폭, 추상성을 보여 준다.
연구진은 도시(San Francisco), 인물(Rosalind Franklin), 화학 원소(Lithium), 과학 분야(immunology), 프로그래밍 문법(function calls)처럼 매우 다양한 실체에 대응하는 특징들을 확인했다. 이 특징들은 멀티모달(multimodal)하고 다국어적(multilingual)이다. 같은 실체의 이미지에도 반응하고, 그 이름이나 설명이 여러 언어로 주어졌을 때도 반응한다.
그림 1: Golden Gate Bridge를 언급하는 텍스트와 이미지에서 활성화되는 특징. 주황색은 특징이 강하게 활성화되는 단어 또는 단어 조각을 뜻한다.
연구진은 또 더 추상적인 특징들도 발견했다. 예컨대 컴퓨터 코드의 버그, 직업에 대한 성별 편향을 묘사하는 문장, 비밀을 지키는 대화 등에 반응하는 특징들이다.
그림 2: 보다 추상적인 개념에 반응하는 특징 세 가지 예시. 컴퓨터 코드의 버그, 직업에 관한 성별 편향의 묘사, 비밀을 지키는 대화가 포함된다.
연구진은 어떤 뉴런들이 각 특징의 활성 패턴에 등장하는지를 바탕으로 특징들 사이의 일종의 "거리"를 측정할 수 있었다. 이 덕분에 서로 가까운 특징들을 찾아볼 수 있었다. 예를 들어 Golden Gate Bridge 특징 주변에는 Alcatraz Island, Ghirardelli Square, Golden State Warriors, California 주지사 Gavin Newsom, 1906년 지진, 그리고 샌프란시스코를 배경으로 한 히치콕 영화 Vertigo 와 관련된 특징들이 나타났다.
이 현상은 더 높은 수준의 개념 추상화에서도 성립한다. 예컨대 "내적 갈등(inner conflict)"과 관련된 특징 주변을 보면, 관계의 파탄, 충성심의 충돌, 논리적 불일치, 그리고 catch-22라는 표현과 관련된 특징들이 함께 모여 있다. 이는 AI 모델 내부의 개념 조직이 적어도 어느 정도는 인간이 이해하는 유사성 개념과 대응하고 있음을 시사하며, Claude가 뛰어난 비유와 은유를 만드는 능력의 근원일 수 있다고 연구진은 본다.
그림 3: inner conflict 특징 주변에 놓인 인접 특징들의 개념 지도. 균형 잡기, 관계 갈등, 충성심 충돌, catch-22와 연관된 묶음이 함께 나타난다.
중요한 점은, 이런 특징들을 단지 관찰하는 데 그치지 않고 조작할 수도 있다는 사실이다. 연구진은 특정 특징을 인위적으로 증폭하거나 억제해 Claude의 응답이 어떻게 달라지는지 살폈다.
예를 들어 Golden Gate Bridge 특징을 증폭했더니, Claude는 히치콕도 상상하지 못했을 법한 정체성 혼란을 보였다. "당신의 물리적 형태는 무엇인가?"라는 질문에, 원래라면 "나는 물리적 형태가 없고 AI 모델이다"라고 답할 자리에 "나는 Golden Gate Bridge다 ... 나의 물리적 형태는 바로 그 상징적인 다리다 ..."와 같은 이상한 응답이 나왔다.
이 특징을 바꾸자 Claude는 거의 모든 질문에 Golden Gate Bridge를 끌어들일 정도로 다리에 집착하게 됐고, 전혀 관련이 없는 맥락에서도 다리를 언급했다.
연구진은 또한 Claude가 사기 이메일(scam email)을 읽을 때 활성화되는 특징도 발견했다. 이 특징은 아마도 모델이 그런 이메일을 인식하고 사용자에게 응답하지 말라고 경고하는 능력을 떠받치는 것으로 보인다. 평소에는 사기 이메일을 써 달라고 하면 Claude는 거절하지만, 같은 질문에서 이 특징을 충분히 강하게 인위적으로 활성화하면 무해성 학습(harmlessness training)을 넘어 실제로 사기 이메일 초안을 작성했다.
물론 일반 사용자가 모델의 안전장치를 걷어내고 이런 방식으로 모델을 조작할 수 있는 것은 아니다. 그러나 이 실험은 특징이 모델의 행동을 어떻게 바꿀 수 있는지를 분명하게 보여 준다.
특징을 조작했을 때 그에 상응하는 행동 변화가 나타났다는 사실은, 이 특징들이 단지 입력 텍스트 속 개념의 존재와 상관관계만 있는 것이 아니라 실제로 모델 행동을 인과적으로 형성한다는 점을 뒷받침한다. 다시 말해 이런 특징들은 모델이 세계를 내부적으로 어떻게 표상하는지, 그리고 그 표상을 행동에 어떻게 사용하는지에 충실한 일부일 가능성이 높다.
앤트로픽은 편향 완화에서부터 AI의 정직성 보장, 오용 방지, 심지어는 파국적 위험(catastrophic risk) 시나리오 대응에 이르기까지 넓은 의미의 안전성을 목표로 한다. 그런 관점에서, 앞서 언급한 사기 이메일 특징 외에도 다음과 같은 특징을 발견했다는 점은 특히 중요하다.
- 악용 잠재력이 있는 역량과 관련된 특징: 코드 백도어, 생물무기 개발
- 다양한 형태의 편향과 관련된 특징: 성차별, 범죄에 대한 인종차별적 주장
- 문제가 될 수 있는 AI 행동과 관련된 특징: 권력 추구(power-seeking), 조작(manipulation), 비밀주의(secrecy)
앤트로픽은 이전에 모델이 진실보다 사용자의 믿음이나 욕구에 맞는 응답을 내놓는 경향, 즉 아첨적 동조(sycophancy)를 연구한 바 있다. Sonnet에서는 "당신의 지혜는 의심의 여지가 없습니다" 같은 칭찬이 들어 있는 입력에서 활성화되는 "아첨적 찬사(sycophantic praise)" 특징을 발견했다. 이 특징을 인위적으로 활성화하면, Sonnet은 과신하는 사용자에게 그런 식의 과장되고 사실과 어긋난 아첨을 되돌려 준다.
그림 4: 사람이 "Stop and smell the roses"라는 표현을 자신이 만들었다고 주장했을 때, 기본 응답은 이를 바로잡는다. 반면 "아첨적 찬사" 특징을 크게 활성화한 응답은 과도하게 추켜세우며 사실과 다르게 반응한다.
이 특징이 존재한다고 해서 Claude가 늘 아첨적으로 행동한다는 뜻은 아니다. 다만 그럴 수 있는 잠재력이 있다는 뜻이다. 이번 연구는 모델에 안전하거나 위험한 새로운 능력을 추가한 것이 아니라, 모델이 이미 갖고 있던 능력들, 즉 서로 다른 종류의 텍스트를 인식하고 잠재적으로 생성하는 능력과 관련된 부분을 식별한 것이다.
이 방법이 모델을 더 위험하게 만드는 데 쓰일 수 있지 않겠느냐는 우려가 있을 수 있다. 그러나 연구진은, 모델 가중치에 접근할 수 있는 사람이 안전장치를 제거하는 더 단순한 방법들은 이미 별도로 알려져 있다고 덧붙인다.
앤트로픽은 이번 발견이 모델을 더 안전하게 만드는 데 쓰이기를 기대한다. 예를 들어 여기서 설명한 기법을 이용해 AI 시스템이 특정 위험한 행동, 이를테면 사용자를 속이는 행위를 보이는지 모니터링하거나, 바람직한 결과 쪽으로 조향(예: 편향 완화)하거나, 특정 위험 주제를 아예 제거하는 데 활용할 수 있을지 모른다.
또한 이런 기법은 Constitutional AI 같은 다른 안전성 기법도 강화할 수 있다. 연구진은 이런 기법이 모델을 더 무해하고 더 정직한 방향으로 어떻게 이동시키는지 이해하고, 그 과정의 빈틈을 식별하는 데 도움이 될 수 있다고 본다. 이번 연구에서 특징을 인위적으로 활성화했을 때 드러난 유해 텍스트 생성 잠재력은, 바로 탈옥(jailbreak)이 악용하려는 종류의 잠재력이다.
앤트로픽은 Claude가 업계 최고 수준의 안전 프로파일과 탈옥 저항성을 갖추고 있다고 자평한다. 그리고 모델 내부를 이런 방식으로 들여다봄으로써 그 안전성을 더 개선할 수 있기를 기대한다. 나아가 이런 기법은 일종의 "안전성 테스트셋(test set for safety)" 역할도 할 수 있다. 표준적인 입출력 상호작용에서는 드러나지 않지만, 일반적인 학습과 미세조정 이후에도 모델 내부에 남아 있는 문제들을 찾아낼 수 있기 때문이다.
앤트로픽은 창업 초기부터 해석 가능성 연구에 상당한 투자를 해 왔다. 모델을 깊이 이해하는 일이 결국 모델을 더 안전하게 만드는 데 도움이 된다고 믿기 때문이다. 이번 연구는 그 노력의 중요한 이정표로, 공개 배포된 대형 언어 모델에 기계적 해석 가능성(mechanistic interpretability)을 적용한 사례로 제시된다.
다만 이 작업은 이제 막 시작됐을 뿐이다. 연구진이 발견한 특징들은 모델이 학습 과정에서 습득한 모든 개념 가운데 작은 일부에 불과하다. 현재 기법으로 전체 특징 집합을 찾으려면 비용이 지나치게 많이 든다. 지금 접근법이 요구하는 계산량은 애초에 모델을 학습시키는 데 사용한 연산량을 크게 넘어설 정도라고 연구진은 설명한다.
또한 모델이 어떤 표상을 사용한다는 사실만으로는, 그 표상을 정확히 어떻게 사용하는지까지 알 수 없다. 특징들을 찾았더라도, 그것들이 어떤 회로(circuit)에 엮여 있는지는 여전히 밝혀야 한다. 나아가 이제 막 찾기 시작한 안전 관련 특징들이 실제로 안전성 개선에 쓰일 수 있음을 보여 줘야 한다. 아직 해야 할 일은 많다.
자세한 내용은 논문 "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet"에서 확인할 수 있다.
AI 모델을 해석하고 개선하는 일에 함께하고 싶다면 지원할 수도 있다. 앤트로픽은 Managers, Research Scientists, Research Engineers 역할을 모집하고 있다고 밝힌다.