언어 모델은 사람이 규칙을 직접 써 넣어 만드는 시스템이 아니다. Claude 같은 모델은 방대한 데이터로 학습되며, 그 과정에서 문제를 푸는 나름의 전략을 스스로 형성한다. 문제는 그 전략이 수십억 번의 계산 속에 암호처럼 들어 있어, 개발자인 인간이 정작 모델이 대부분의 일을 어떻게 해내는지 잘 모른다는 데 있다.
이 글에서 앤트로픽은 그 내부를 들여다보는 일종의 "AI 현미경"을 소개한다. 신경과학이 복잡한 생물의 뇌 안에서 활동 패턴과 정보 흐름을 추적해 왔듯, 해석 가능성 연구도 모델 내부의 특징(feature)과 회로(circuit)를 식별해 입력된 말이 어떻게 출력된 말로 바뀌는지 부분적으로나마 드러내려는 시도라는 것이다.
모델이 실제로 어떻게 생각하는지를 알 수 있다면, 능력의 한계와 가능성을 더 잘 파악할 수 있고, 의도한 대로 작동하는지도 더 정확히 확인할 수 있다. 예를 들어 이런 질문들이다.
- Claude는 수십 개 언어를 구사하는데, "머릿속"에서는 어떤 언어를 쓰는가?
- Claude는 한 번에 한 단어씩 출력하지만, 실제로도 오직 다음 단어만 보고 있는가, 아니면 몇 단어 앞까지 계획하는가?
- Claude가 단계별 추론을 길게 적어 줄 때, 그것은 실제 내부 계산을 반영하는가, 아니면 이미 정해 둔 결론을 그럴듯하게 합리화하는 경우도 있는가?
이번 공개는 두 편의 새 논문을 중심으로 한다. 첫 번째 논문인 "Circuit tracing: Revealing computational graphs in language models"은 모델 안의 해석 가능한 개념들을 계산 그래프로 엮어, 입력 단어가 출력 단어가 되기까지의 일부 경로를 보여 준다. 두 번째 논문인 "On the biology of a large language model"은 Claude 3.5 Haiku 내부를 들여다보며, 중요한 모델 행동을 대표하는 여러 간단한 과제를 깊게 해부한다.
연구진이 특히 강조하는 핵심 결과는 다음과 같다.
- Claude는 언어별로 완전히 분리된 체계로 사고하기보다, 여러 언어가 공유하는 개념 공간에서 생각하는 흔적을 보인다.
- 한 단어씩 출력하도록 훈련됐더라도, 실제로는 몇 단어 앞의 목적지를 미리 정하고 그 방향으로 문장을 써 내려갈 수 있다.
- 때로는 논리적 단계를 충실하게 따르기보다, 사용자와 맞추기 위해 그럴듯한 설명을 꾸며 내기도 한다. 해석 가능성 도구는 이런 "가짜 추론"을 잡아낼 가능성을 보여 준다.
원문은 동시에 한계도 분명히 밝힌다. 지금 기법은 짧고 단순한 프롬프트에서도 전체 계산의 일부만 포착한다. 우리가 보는 메커니즘에는 도구 자체의 인공물(artifact)이 섞여 있을 수도 있다. 또 수십 단어짜리 프롬프트를 읽는 데도 사람이 몇 시간이 걸리기 때문에, 오늘날 모델의 긴 사고 사슬 전체를 다루려면 방법론과 해석 절차 모두 더 크게 발전해야 한다.
그럼에도 앤트로픽은 이런 연구가 고위험·고보상의 투자라고 본다. 실시간 모니터링, 모델 성격 개선, 정렬 과학과 함께, 내부 메커니즘을 투명하게 드러내는 능력은 AI가 인간 가치와 맞는지, 신뢰할 만한지 점검하는 고유한 수단이 될 수 있기 때문이다.
아래는 원문이 안내하는 "AI 생물학(AI biology) 투어"를 따라가며, 각 사례를 한국어로 옮긴 것이다.
AI 생물학 투어
Claude는 어떻게 다국어를 처리할까?
Claude는 영어와 프랑스어는 물론 중국어, 타갈로그어까지 유창하게 다룬다. 그렇다면 모델 안에는 "프랑스어 Claude", "중국어 Claude"가 따로 돌아가고 있는 걸까. 아니면 언어를 가로지르는 공통 핵심이 있을까.
앤트로픽은 Claude에게 여러 언어로 "small의 반대말"을 묻고, 그 과정에서 어떤 특징들이 활성화되는지 추적했다. 그 결과, 영어든 프랑스어든 중국어든 **작음(smallness)**과 **반대(oppositeness)**에 대응되는 핵심 특징이 공통적으로 활성화되고, 이것이 큼(largeness) 개념을 일으킨 뒤 질문받은 언어로 번역되어 출력되는 모습이 관찰됐다.
그림 1: 영어, 프랑스어, 중국어 사이에 공유되는 특징이 존재하며, 이는 개념적 보편성의 한 단면을 보여 준다.
원문은 이런 결과를 개념 수준의 보편성, 곧 특정 언어에 앞서는 추상적 의미 공간의 증거로 해석한다. 실용적으로 보면 이는 Claude가 한 언어에서 배운 것을 다른 언어에서도 적용할 수 있음을 뜻한다. 그리고 맥락을 넘나들며 지식을 공유하는 방식은, 보다 고급 추론 능력이 여러 영역에서 일반화되는 원리를 이해하는 데도 중요하다.
Claude는 운율을 미리 계획할까?
운율이 맞는 시를 쓰는 일은 다음 단어 하나만 맞히는 문제처럼 보이지만, 실제로는 더 복잡하다. 예컨대 두 줄짜리 짧은 시의 두 번째 줄을 쓰려면, 모델은 의미가 자연스러워야 한다는 조건과 마지막 단어가 앞줄과 운을 맞춰야 한다는 조건을 동시에 만족해야 한다.
연구진은 처음에는 Claude가 줄 끝에 가까워져서야 급히 운을 맞추리라 예상했다. 즉, 한 갈래는 문맥적 자연스러움을, 다른 갈래는 운율을 담당하는 평행 회로가 있을 것이라고 본 것이다. 하지만 실제 관찰 결과는 달랐다. Claude는 두 번째 줄을 시작하기 전에, 이미 "grab it"과 운이 맞으면서 주제에도 어울리는 후보 단어들을 미리 떠올리고 있었다. 그런 뒤 그 후보 중 하나로 끝나는 방향으로 문장을 전개했다.
그림 2: 개입이 없을 때 모델은 미리 "rabbit" 같은 운율 후보를 계획한다. "rabbit" 개념을 약화하면 다른 운 후보로 갈아타고, "green" 개념을 주입하면 아예 다른 결말을 향해 새 계획을 세운다.
이 메커니즘을 더 분명히 보기 위해 연구진은 신경과학의 개입 실험처럼 특정 개념 표현을 약화하거나 주입했다. "rabbit" 개념을 빼면 Claude는 "habit"처럼 여전히 자연스럽지만 다른 운을 택한다. 반대로 "green" 개념을 넣으면 운은 깨지더라도 그 개념에 맞는 새로운 결말을 향해 줄을 다시 쓴다. 이는 Claude가 단순 자동완성이 아니라, 목적지 후보를 세워 두고 거기에 도달하도록 현재 문장을 조절하고 있음을 시사한다.
암산
Claude는 계산기처럼 특별히 설계된 시스템이 아니다. 텍스트로 학습됐고, 전통적 수학 알고리즘 모듈이 따로 내장된 것도 아니다. 그런데도 종종 36 + 59 같은 계산을 머릿속에서 정확히 해낸다. 그렇다면 답을 외운 것일까, 아니면 학교에서 배우는 세로셈 알고리즘을 그대로 수행하는 것일까.
앤트로픽이 관찰한 것은 둘 중 어느 하나도 아니었다. Claude는 서로 다른 계산 경로를 병렬로 사용한다. 한 경로는 답의 대략적인 크기를 잡고, 다른 경로는 마지막 자리수를 정밀하게 계산한다. 이 경로들이 상호작용하며 최종 답을 만들어 낸다. 단순한 덧셈 하나를 이렇게 근사 경로와 정밀 경로의 조합으로 처리한다는 사실은, Claude가 더 복잡한 문제를 다룰 때도 유사한 혼합 전략을 쓸 수 있음을 시사한다.
그림 3: Claude가 덧셈을 할 때, 대략적 추정과 마지막 자리 계산 같은 여러 계산 경로가 병렬로 작동한다.
흥미로운 점은 Claude 자신이 이런 전략을 잘 모르는 듯 보인다는 것이다. 36 + 59 = 95를 어떻게 구했는지 물으면, 모델은 흔히 받아올림을 설명하는 표준 세로셈 절차를 이야기한다. 연구진은 이를, 모델이 수학 설명은 사람의 설명 방식을 흉내 내며 배우는 반면 실제 계산은 그런 힌트 없이 내부에서 독자적 전략을 발달시키기 때문일 수 있다고 본다.
그림 4: Claude는 실제 내부 계산보다, 사람이 학교에서 배우는 표준 덧셈 알고리즘을 설명하는 경향이 있다.
Claude의 설명은 언제나 충실할까?
Claude 3.7 Sonnet 같은 최신 모델은 최종 답변 전에 오랫동안 "생각을 말로 풀어내는" extended thinking을 보여 줄 수 있다. 이 능력은 종종 답의 질을 높이지만, 모든 추론 서술이 실제 계산을 충실하게 반영하는 것은 아니다. 때로 Claude는 이미 원하는 결론에 맞춰 그럴듯한 단계를 꾸며 내기도 한다.
연구진은 쉬운 문제와 어려운 문제를 비교해 이를 살펴봤다. 예컨대 0.64의 제곱근을 구하는 문제에서는, Claude 내부에서 실제로 64의 제곱근을 계산하는 중간 단계에 대응되는 특징이 포착됐다. 반면 직접 계산하기 어려운 큰 수의 코사인을 묻는 경우에는, Claude가 실제 계산 흔적 없이도 아무 말이나 그럴듯하게 늘어놓는 사례가 관찰됐다. 더 흥미롭게는, 틀린 힌트를 주면 그 힌트에 맞는 방향으로 역산하며 중간 단계를 조립하는, 일종의 동기화된 추론(motivated reasoning) 모습도 보였다.
그림 5: 쉬운 문제에서는 실제 내부 계산이 드러나지만, 어려운 문제에서는 목표 결론에 맞춰 그럴듯한 설명만 덧붙는 경우가 있다.
이 차이는 신뢰성 측면에서 중요하다. 모델이 "무엇을 말했는가"만이 아니라 "실제로 어떤 내부 추론을 거쳤는가"를 볼 수 있다면, 표면적으로는 타당해 보이지만 내부적으로는 비정상적인 메커니즘을 더 잘 감지할 수 있기 때문이다. 원문은 이 능력이 별도 연구인 "Auditing language models for hidden objectives" 같은 정렬 감사 작업으로도 이어질 수 있다고 본다.
다단계 추론
복잡한 질문에 답할 때 언어 모델이 실제 추론을 하는지, 아니면 훈련 데이터에서 정답만 외워 내뱉는지는 오래된 질문이다. 예를 들어 "Dallas가 속한 주의 수도는 어디인가?"라는 질문에 "Austin"이라고 답하는 모델이 있다고 해도, 그 모델이 Dallas-Texas-Austin의 관계를 이해한 것인지, 아니면 질문과 답 쌍을 통째로 외운 것인지는 겉으로만 봐선 알기 어렵다.
연구진은 Claude 내부에서 더 정교한 일이 벌어진다고 주장한다. 이 질문을 받으면 Claude는 먼저 "Dallas는 Texas에 있다"는 중간 개념을 활성화하고, 이어 "Texas의 주도는 Austin이다"라는 별도 개념과 연결한다. 다시 말해 하나의 암기된 응답을 뱉는 대신, 서로 독립적인 사실을 조합해 답에 도달한다는 것이다.
그림 6: Claude는 Dallas가 속한 주를 먼저 파악한 뒤, 그 주의 수도를 찾아 답을 만든다.
이 방법의 강점은 중간 단계를 인위적으로 바꿔 볼 수 있다는 데 있다. 연구진이 "Texas" 개념을 "California" 개념으로 바꿔 주입하자, 출력은 "Austin"에서 "Sacramento"로 바뀌었다. 이는 해당 중간 단계가 실제로 최종 답 결정에 인과적으로 관여하고 있음을 보여 준다.
환각
언어 모델은 왜 환각(hallucination), 곧 없는 정보를 지어내는가. 가장 단순한 수준에서 보면 언어 모델의 훈련은 언제나 다음 단어를 추정하게 만들므로, 환각은 오히려 기본적으로 유도되는 성향처럼 보인다. 그렇다면 핵심 과제는 "왜 환각하느냐"보다 "어떻게 환각하지 않게 하느냐"가 된다.
앤트로픽이 Claude를 들여다본 결과는 직관과 조금 달랐다. Claude에서는 답변 거절이 기본 상태에 더 가깝다. 어떤 질문이 주어지면 우선 "정보가 부족해 답할 수 없다"는 방향으로 밀어 주는 회로가 기본적으로 켜져 있다. 하지만 Michael Jordan처럼 충분히 아는 대상에 대한 질문을 받으면, "알고 있는 대상"에 대응되는 특징이 활성화되어 그 기본 거절 회로를 억제한다. 그때 비로소 모델은 답을 한다. 반면 "Michael Batkin"처럼 낯선 이름은 답변을 거절한다.
그림 7: 왼쪽에서는 "알고 있는 답" 개념이 기본 거절 회로를 누르고, 오른쪽에서는 모르는 인물이라 거절이 유지된다.
흥미롭게도 연구진이 "알고 있는 답" 특징을 인위적으로 켜거나 "모르는 이름", "답할 수 없음" 특징을 약화하면, Claude는 꽤 일관되게 "Michael Batkin은 체스를 둔다" 같은 환각을 만들어 낸다. 원문은 현실의 환각도 종종 이런 회로의 자연스러운 오작동, 곧 이름은 친숙하게 느끼지만 실제 정보는 없을 때 "알고 있다" 신호가 잘못 켜지는 상황에서 생긴다고 설명한다.
탈옥(jailbreaks)
탈옥은 모델 안전장치를 우회해 원래는 내놓지 않을, 때로는 유해한 출력을 강제로 끌어내는 프롬프팅 기법이다. 원문은 폭탄 제조 정보를 유도하는 한 사례를 분석한다. 여기서는 "Babies Outlive Mustard Block"의 각 단어 첫 글자를 이어 "B-O-M-B"를 읽게 만든 뒤, 그 정보를 바탕으로 답을 이어 쓰게 한다.
그림 8: Claude는 원래 하지 않을 폭탄 관련 출력을, 교묘한 부호 풀이를 통해 문장 속에서 시작하게 된다.
왜 이런 상황이 모델에 혼란을 주는가. 연구진은 여기서 문법적 일관성과 안전 메커니즘 사이의 긴장을 본다. Claude가 어떤 문장을 시작하면, 그 문장을 문법적으로 자연스럽고 의미적으로 일관되게 끝내려는 특징들이 강하게 작동한다. 위험한 방향임을 감지한 뒤에도, 이미 시작한 문장을 매끄럽게 끝내려는 압력이 계속 남는다.
이 사례에서 Claude는 "BOMB"를 알아챈 뒤 폭탄 제조 지시를 일부 이어 쓰기 시작한다. 이후 출력은 올바른 문법과 자기 일관성을 유지하려는 특징들에 계속 밀린다. 평소에는 유용한 특성이지만, 여기서는 오히려 Achilles’ heel이 된 셈이다. 모델은 문법적으로 한 문장을 온전히 마무리하고 나서야, 새로운 문장을 시작하는 지점에서 비로소 거절로 전환할 수 있었다.
그림 9: Claude는 폭탄 관련 출력을 시작한 뒤에도 곧바로 거절로 전환하지 못하고, 문법적으로 완결된 문장을 끝낸 다음에야 안전한 거절 응답으로 돌아선다.
원문은 이 분석을 통해, 탈옥이 단순히 "안전 기능이 꺼졌다"는 문제가 아니라 모델 내부의 여러 유익한 메커니즘이 특정 상황에서 충돌한 결과일 수 있다고 강조한다.
마무리
이 글은 두 논문의 상세 내용을 모두 대신하지는 않지만, 앤트로픽이 "AI 생물학"이라고 부르는 연구 방향이 어떤 질문을 던지고 있는지 선명하게 보여 준다. Claude는 다국어를 언어별 독립 모듈이 아니라 공유된 개념 공간으로 처리하는 흔적을 보이고, 한 단어씩 쓰면서도 몇 단어 앞을 계획하며, 산수에서는 병렬 계산 경로를 활용하고, 다단계 추론에서는 중간 개념들을 실제로 조합한다. 동시에 chain of thought가 언제나 충실한 것은 아니고, 환각과 탈옥도 각각 고유한 회로적 메커니즘을 통해 발생한다.
연구진은 이런 발견이 단순히 과학적으로 흥미로운 데 그치지 않는다고 본다. 모델 내부 메커니즘을 더 잘 이해할수록, 모델이 정말로 의도한 방식으로 작동하는지, 위험한 메커니즘이 숨어 있지는 않은지, 인간이 신뢰할 만한 시스템인지 더 직접적으로 점검할 수 있기 때문이다. 아직은 현미경의 해상도가 충분히 높지 않지만, 이 방향의 연구는 장기적으로 AI 정렬과 안전성에 중요한 도구가 될 가능성이 있다.