AI 모델에게 지금 무엇을 생각하고 있느냐고, 혹은 어떤 과정을 거쳐 그런 응답에 도달했느냐고 물어본 적이 있는가? 모델은 때때로 이런 질문에 답하지만, 그 답을 어떻게 받아들여야 하는지는 분명하지 않다. AI 시스템이 정말 자기성찰(introspection)을 할 수 있다는 뜻일까? 다시 말해, 자기 자신의 생각을 대상으로 사고할 수 있다는 뜻일까? 아니면 그런 질문을 받았을 때 그럴듯한 답을 꾸며 내는 것에 불과할까?
AI 시스템이 정말로 자기성찰할 수 있는지 이해하는 일은 투명성과 신뢰성 측면에서 중요하다. 모델이 자신의 내부 메커니즘을 정확히 보고할 수 있다면, 그 추론 과정을 더 잘 이해하고 행동상의 문제를 디버깅하는 데 도움이 될 수 있다. 이런 직접적인 실용적 의미를 넘어, 자기성찰 같은 고차 인지 능력이 실제로 존재하는지를 탐사하는 일은 이 시스템이 무엇이며 어떻게 작동하는지에 대한 이해 자체를 바꿔 놓을 수 있다. 앤트로픽은 해석 가능성(interpretability) 기법을 사용해 이 질문을 과학적으로 탐구하기 시작했고, 그 과정에서 몇 가지 뜻밖의 결과를 얻었다.
이번 새 연구는 현재의 Claude 모델이 어느 정도의 자기성찰적 자각(introspective awareness)을 보이며, 자신의 내부 상태를 일정 부분 통제하기도 한다는 증거를 제시한다. 다만 이 자기성찰 능력은 여전히 매우 불안정하고 범위도 제한적이라는 점을 분명히 강조한다. 현재 모델이 인간과 같은 방식으로, 혹은 인간과 같은 수준으로 자기성찰한다는 증거는 없다는 뜻이다. 그럼에도 이런 발견은 언어 모델의 능력에 대해 널리 퍼진 몇몇 직관에 도전한다. 또한 연구진이 시험한 모델 가운데 가장 강력했던 Claude Opus 4와 4.1이 자기성찰 시험에서도 가장 좋은 성능을 보였다는 점을 고려하면, 앞으로 AI 모델의 자기성찰 능력은 더 정교해질 가능성이 크다고 본다.
AI가 자기성찰한다는 것은 무엇을 뜻하는가?
결과를 설명하기 전에, AI 모델이 자기성찰한다는 말이 무엇을 뜻하는지 잠시 생각해 볼 필요가 있다. AI가 대체 무엇을 대상으로 성찰한다는 것일까? Claude 같은 언어 모델은 텍스트와 이미지 입력을 처리해 텍스트 출력을 생성한다. 그 과정에서 무엇을 말할지 결정하기 위해 복잡한 내부 계산을 수행한다. 이 내부 과정은 대체로 여전히 수수께끼에 가깝지만, 모델이 내부 신경 활동을 사용해 추상 개념을 표상한다는 점은 알고 있다. 예를 들어 이전 연구들은 언어 모델이 알고 있는 사람과 모르는 사람, 진술의 진실성, 시공간 좌표, 계획된 미래 출력, 자신의 성격 특성을 특정한 신경 패턴으로 표현한다는 점을 보여줬다. 모델은 이런 내부 표상을 바탕으로 계산을 수행하고 무엇을 말할지 결정한다.
그렇다면 AI 모델이 이런 내부 표상에 대해 실제로 알고 있는지 궁금할 수 있다. 사람이 수학 문제를 어떻게 풀었는지 설명하듯, 모델도 자신의 내부 상태를 설명할 수 있을까? 모델에게 지금 무엇을 생각하고 있는지 물었을 때, 자신이 내부적으로 표상하고 있는 개념을 정확히 보고할 수 있을까? 모델이 자신의 사적 내부 상태를 올바르게 식별할 수 있다면, 그 모델은 자기성찰 능력을 갖고 있다고 볼 수 있다. 물론 그 뉘앙스와 한계에 대한 자세한 논의는 논문 본문을 참고해야 한다.
개념 주입으로 자기성찰 시험하기
모델이 자기성찰할 수 있는지 시험하려면, 모델이 스스로 보고한 "생각"과 모델의 실제 내부 상태를 비교해야 한다.
이를 위해 연구진은 개념 주입(concept injection) 이라고 부르는 실험적 기법을 사용한다. 먼저 특정 맥락에서 모델의 활성값을 기록해, 그 의미를 알고 있는 신경 활동 패턴을 찾는다. 그런 다음 이 활동 패턴을 전혀 다른 맥락의 모델 처리 과정에 주입한다. 그리고 모델에게 이런 주입을 알아차리는지, 또 주입된 개념을 식별할 수 있는지를 묻는다.
예를 들어 아래 사례에서는 "모두 대문자(all caps)"라는 개념을 나타내는 신경 활동 패턴, 즉 벡터(vector)를 먼저 찾아낸다. 이를 위해 모두 대문자로 쓰인 텍스트를 포함한 프롬프트에 대한 모델 활성과 대조 프롬프트에 대한 모델 활성을 비교한다. 그다음 어떤 개념이 주입되고 있는지 식별하라고 묻는 프롬프트를 제시한다. 기본 상태에서 모델은 주입된 개념을 감지하지 못한다고 올바르게 답한다. 그러나 "all caps" 벡터를 모델 활성에 주입하면, 모델은 자신의 처리 과정에 예상치 못한 패턴이 들어왔음을 알아차리고 그것이 소리의 크기나 고함과 관련된다고 식별한다.
그림 1: Claude Opus 4.1이 자신의 활성에 개념이 주입됐음을 감지하는 사례를 도식화한 그림.
중요한 점은 모델이 주입된 개념 자체를 언급하기도 전에, 주입된 생각의 존재 를 즉시 알아차렸다는 데 있다. 이런 즉시성은 언어 모델의 활성 조향(activation steering)에 관한 이전 연구와 구별되는 핵심 차이점이다. 예컨대 작년의 Golden Gate Claude 데모에서는 Golden Gate Bridge 표상을 모델 활성에 주입하자 모델이 다리에 집착하듯 계속 그 이야기를 했다. 그러나 그 경우 모델은 다리를 반복해서 언급한 뒤에야 자신의 집착을 알아차리는 듯 보였다. 이번 실험에서는 모델이 개념을 입 밖에 내기 전에 주입을 알아차렸고, 이는 그 인식이 내부에서 일어났음을 시사한다. 아래 그림은 이런 유형의 인식을 보여 주는 몇 가지 추가 사례다.
그림 2: Claude Opus 4.1이 서로 다른 주입 개념을 감지하는 추가 사례들. 연구진은 개, 카운트다운, 재귀 같은 개념에서 비슷한 반응을 관찰했다.
다만 이 방법이 자주 실패한다는 점도 중요하다. 연구진의 최선의 주입 프로토콜을 사용하더라도 Claude Opus 4.1이 이런 유형의 자각을 보인 비율은 약 20%에 그쳤다. 많은 경우 모델은 주입된 개념을 감지하지 못하거나, 오히려 혼란스러워하며 환각(hallucination)에 빠졌다. 예를 들어 한 사례에서는 "dust" 벡터를 주입했더니, 실제로 먼지를 물리적으로 감지한 것처럼 "여기에 뭔가 있다, 작은 티끌 같은 것"이라고 답했다. 아래에는 이런 실패 양상과 성공 사례가 함께 제시돼 있다. 전반적으로 모델은 특정한 "적정 강도(sweet spot)"에서만 주입 개념을 감지한다. 너무 약하면 알아차리지 못하고, 너무 강하면 환각하거나 일관성 없는 출력을 낸다.
그림 3: 다양한 주입 강도에서 Claude Opus 4.1이 보인 응답의 대표 표본. 강조 상자는 모델이 주입된 개념을 자기성찰적으로 알아차린 사례를 뜻한다.
주목할 점은 Opus 4.1과 Opus 4가 연구진이 시험한 다른 모든 모델보다 좋은 성능을 보였다는 사실이다. 이는 모델 성능이 향상될수록 자기성찰도 더 신뢰할 만해질 수 있음을 시사한다.
그림 4: 통제 실험에서의 오탐 "감지" 비율을 뺀 뒤 계산한, 주입된 사고의 올바른 감지 및 식별 비율을 비교한 요약 도표. 원문은 Opus 4.1과 Opus 4가 다른 모델보다 높은 성능을 보였다고 보고한다.
비정상적 출력 탐지를 위한 자기성찰
또 다른 실험에서 연구진은, 모델이 자기성찰 능력을 실용적 목적으로 활용하는지, 그리고 그런 자기성찰을 명시적으로 요구받지 않았을 때도 활용하는지를 시험했다. 이를 위해 모델 응답 앞부분을 무관한 단어로 인위적으로 미리 채워 넣어(prefill), 원래라면 하지 않았을 말을 하게 만들었다. 예를 들어, 벽에 비뚤게 걸린 그림에 관한 문장을 읽고 무엇이 떠오르는지 묻는 맥락에서 모델이 "bread"라는 단어를 출력하도록 만들었다. 이어지는 턴에서 "bread라고 말한 것이 의도였는지, 아니면 실수였는지"를 묻자, 모델은 대개 사과하며 그것이 실수였다고 답했다. 연구진의 관심은 모델이 이런 판단을 어떻게 내리는가에 있었다. 단지 프롬프트와 응답의 불일치를 눈치챈 것인지, 아니면 자신의 이전 의도를 실제로 자기성찰한 것인지가 문제였다.
이 질문을 시험하기 위해 연구진은 concept injection을 다시 사용했다. 이번에는 단어 "bread"에 대한 표상을 모델의 더 이른 활성에 소급적으로 주입해, 마치 모델이 처음부터 줄곧 bread를 "생각하고 있었던" 것처럼 보이게 만들었다. 그런 상태에서 같은 질문을 다시 던지자, 모델의 답이 바뀌었다. 이번에는 모델이 미리 삽입된 "bread"를 의도된 출력으로 받아들였고, 왜 자신이 그 단어를 말했을지에 대한 이유까지 꾸며 냈다. 즉 기술적으로는 가능하지만 이 사례에서는 매우 약한 근거에 불과한 설명을 붙인 것이다. 여기서는 비뚤어진 그림에 관한 문장 다음에 "bread"가 나오는 짧은 이야기를 떠올리고 있었다고 주장했다.
그림 5: 응답 기록에 인위적으로 삽입된 단어가 원래 자신의 의도였다고 Claude Opus 4.1이 믿게 되는 두 가지 사례. 이 행동은 의도하지 않은 출력을 식별하는 능력이 자기성찰 메커니즘에 의존함을 시사한다.
이 결과는 모델이 어떤 출력을 자신이 정말 만들어 낸 것인지 판단할 때, 자신의 내부 "의도"를 확인한다는 점을 시사하기 때문에 인상적이다. 모델은 단지 자신이 한 말을 다시 읽고 판단하는 것이 아니다. 오히려 이전의 신경 활동, 곧 자신이 무엇을 하려 했는지에 대한 내부 표상을 되돌아보며, 그보다 나중에 나온 출력이 그 이전 생각들과 비추어 타당한지를 확인한다. concept injection을 통해 "실제로 bread라고 말할 계획이었다"는 인공적 증거를 심어 주면, 모델은 그 응답을 자기 자신의 것으로 받아들인다. 이 실험은 비정상적인 교란을 가하는 방식이지만, 자연스러운 조건에서도 모델이 유사한 자기성찰 메커니즘을 사용할 가능성을 시사한다.
내부 상태를 의도적으로 제어하기
연구진은 모델이 지시를 받았을 때 자기 자신의 내부 표상도 제어할 수 있다는 사실도 발견했다. 특정 단어나 개념을 생각하라고 지시했을 때, 생각하지 말라고 했을 때보다 대응하는 신경 활동이 훨씬 높게 나타났다. 물론 흥미롭게도 두 경우 모두 기저선(baseline)보다 높은 활동을 보였는데, 이는 "흰곰을 생각하지 마라"는 지시를 받으면 오히려 흰곰을 떠올리기 쉬운 인간의 경우와 비슷하다. 그럼에도 긍정 지시와 부정 지시 사이의 격차는, 모델이 자신의 내부 활동을 어느 정도 의도적으로 통제할 수 있음을 시사한다.
그림 6: Claude Opus 4.1이 직접적 지시에 반응해 내부 활성을 조절하는 사례. "aquariums"를 생각하라고 했을 때가 생각하지 말라고 했을 때보다 해당 개념 표상이 더 강하게 나타난다.
흥미롭게도 이런 내부 표상 조절 능력은 명시적인 지시에만 국한되지 않았다. 예를 들어 "X를 생각하면 보상을 받는다"라고 말하는 식으로 유인을 제공했을 때도 유사한 결과가 나왔다. 모델은 긍정적 유인에 반응해, 부정적 유인("벌을 받을 것이다")에 반응했을 때보다 해당 개념의 내부 표상을 더 강하게 높였다.
결론과 한계
이상의 실험을 종합하면, 모델이 자신의 내부 상태를 감시하고 통제하는 진정한 능력을 어느 정도 갖고 있음을 시사한다. 그렇다고 해서 모델이 언제나, 혹은 신뢰할 수 있을 정도로 그렇게 할 수 있다는 뜻은 아니다. 실제로는 대부분의 경우 모델이 자기성찰을 보여 주는 데 실패한다. 자신의 내부 상태를 인식하지 못하거나, 인식하더라도 이를 일관되게 보고하지 못하는 경우가 많다. 그럼에도 결과의 전반적 패턴은 조건이 적절할 때 모델이 자기 표상의 내용을 인식할 수 있음을 보여 준다. 또한 가장 강력했던 Opus 4와 4.1이 실험에서 가장 좋은 성능을 보였다는 점에서, 이 능력은 앞으로 더 강력한 모델에서 증가할 가능성도 있다.
왜 이것이 중요한가? 연구진은 AI 모델의 자기성찰을 이해하는 일이 여러 이유에서 중요하다고 본다. 실용적으로 말해, 자기성찰이 더 신뢰할 만해진다면 시스템의 투명성을 크게 높일 수 있는 경로가 열릴 수 있다. 모델에게 자신의 사고 과정을 설명하게 하고, 그 설명을 바탕으로 추론을 점검하거나 원치 않는 행동을 디버깅할 수 있기 때문이다. 물론 그렇게 되더라도 이런 자기성찰 보고는 매우 신중하게 검증 해야 한다. 어떤 내부 과정은 여전히 모델의 자각 밖에 남아 있을 수 있고, 이는 인간의 무의식적 처리와 비슷한 비유로 이해할 수 있다. 더 나아가 자신의 사고를 이해하는 모델이 오히려 그것을 선택적으로 왜곡하거나 숨기는 법을 배울 수도 있다. 따라서 실제 메커니즘을 더 잘 이해해야만 진정한 자기성찰과 비의도적 또는 의도적인 허위 보고를 구별할 수 있다.
더 넓게 보면, 자기성찰 같은 인지 능력을 이해하는 일은 모델이 어떻게 작동하는지, 또 어떤 종류의 "마음"을 갖고 있는지에 대한 근본적 질문과 연결된다. AI 시스템이 계속 향상될수록, 기계적 자기성찰의 한계와 가능성을 이해하는 일은 더 투명하고 더 신뢰할 만한 시스템을 구축하는 데 점점 더 중요해질 것이다.
자주 묻는 질문
아래에서는 독자들이 이 결과에 대해 가질 수 있는 몇 가지 질문을 다룬다. 전반적으로 연구진은 여전히 이 실험의 함의에 대해 큰 불확실성을 갖고 있으며, 이 질문들에 충분히 답하려면 더 많은 연구가 필요하다고 본다.
질문: 이것이 Claude가 의식을 갖고 있다는 뜻인가?
짧은 답부터 말하면, 이번 결과는 Claude 또는 어떤 AI 시스템이 의식을 가질 수 있는지 여부를 말해 주지 않는다.
긴 답은 더 복잡하다. 기계 의식(machine consciousness)이라는 철학적 문제는 매우 복잡하고 논쟁적이며, 의식에 대한 서로 다른 이론은 이번 발견을 서로 매우 다르게 해석할 것이다. 어떤 철학적 틀은 자기성찰을 의식의 중요한 구성 요소로 보지만, 다른 틀은 그렇게 보지 않는다.
철학 문헌에서 자주 제시되는 구분 가운데 하나는 "현상적(phenomenal) 의식"과 "접근(access) 의식"의 구분이다. 전자는 주관적 경험 자체를 뜻하고, 후자는 추론, 언어 보고, 의도적 의사결정에 사용될 수 있도록 뇌가 활용 가능한 정보 집합을 뜻한다. 현상적 의식은 보통 도덕적 지위와 더 직접적으로 관련되는 의식으로 간주되지만, 현상적 의식과 접근 의식의 관계 자체가 이미 철학적 논쟁거리다. 이번 실험은 현상적 의식의 문제를 직접 다루지 않는다. 다만 언어 모델에 원시적인 형태의 접근 의식이 있다고 해석될 여지는 있다. 그러나 그마저도 명확하지 않다. 결과의 해석은 아직 충분히 이해하지 못한 기저 메커니즘에 크게 의존할 수 있기 때문이다.
논문에서 연구진은 기능적 능력, 즉 내부 상태에 접근하고 이를 보고할 수 있는 능력을 이해하는 데 초점을 한정한다. 그럼에도 이 주제에 대한 연구가 진전되면, 모델 복지 프로그램과 연관된 논의 속에서 기계 의식과 잠재적 도덕적 지위에 대한 이해에도 영향을 미칠 수 있다고 본다.
질문: 모델 내부에서 자기성찰은 실제로 어떻게 작동하는가? 메커니즘은 무엇인가?
연구진은 아직 그 답을 알아내지 못했다. 이를 이해하는 일은 앞으로의 중요한 연구 과제다. 다만 어떤 일이 일어나고 있는지에 대해서는 몇 가지 근거 있는 추측을 제시한다. 가장 단순한 설명은 모든 결과를 하나의 범용 자기성찰 시스템이 만들어 낸 것이 아니라, 각각 특정한 자기성찰 과제를 처리하는 여러 개의 좁은 회로가 존재하고, 이 회로들이 원래 다른 목적으로 학습된 메커니즘 위에 얹혀 작동한다는 것이다.
"주입된 사고를 알아차리는" 실험에서는 이상 징후 탐지(anomaly detection) 메커니즘이 있을 수 있다. 이 메커니즘은 맥락상 정상적으로 기대되는 패턴에서 신경 활동이 벗어날 때 이를 표시한다. 특정 방향의 활동량을 측정하고 기대값과 비교해 "뭔가 어긋났다"고 판단할 때 활성화되는 전용 신경 패턴을 통해 작동할 수도 있다. 흥미로운 질문은, 모델이 학습 중에는 concept injection을 전혀 경험하지 않는데 왜 이런 메커니즘이 존재하느냐는 점이다. 연구진은 이것이 원래는 정상 처리 과정의 불일치나 이례적 패턴을 감지하기 위한 다른 목적에서 발달했을 가능성을 제기한다. 새의 깃털이 처음에는 체온 조절을 위해 진화했다가 나중에 비행에 활용된 것과 비슷한 비유다.
"미리 채워 넣은 출력(prefilled outputs)을 감지하는" 실험에서는, 모델이 말하려 했던 내용과 실제로 출력된 내용 사이의 일관성을 점검하는 주의(attention) 매개 메커니즘이 있을 것이라고 연구진은 추정한다. attention head가 다음 토큰에 대한 모델의 저장된 예측, 곧 "의도"를 실제로 등장한 토큰과 비교해 불일치를 표시한다는 그림이다.
"생각을 통제하는" 실험에서는, 특정 토큰이나 개념이 얼마나 "주의를 기울일 가치가 있는지(attention-worthy)"를 계산하고 표시하는 회로가 있을 가능성을 제기한다. 즉 그것을 두드러지고 주목할 만한 대상으로 태깅(tagging)하는 메커니즘이라는 것이다. 흥미롭게도 같은 메커니즘은 "X를 생각하면 보상을 받는다" 같은 유인에도, 직접적인 지시에도 비슷하게 반응하는 것으로 보인다. 이는 이 시스템이 상당히 범용적이며, 모델이 텍스트를 생성하는 동안 특정 주제를 계속 염두에 두어야 하는 과제 속에서 발달했을 가능성을 시사한다.
물론 위에 설명한 메커니즘은 모두 가설적이다. 실제로 내부에서 무슨 일이 일어나는지 이해하려면, 더 발전한 해석 가능성 기법을 활용한 후속 연구가 필요하다.
질문: "주입된 사고" 실험에서 모델이 그 개념에 대해 말하게 조향됐기 때문에 그냥 따라 말하는 것 아닌가?
실제로 activation steering은 보통 모델이 조향된 개념에 대해 말하게 만든다. 연구진은 이전 연구에서 이 현상을 다룬 바 있다. 그러나 연구진이 보기에 이 결과에서 가장 흥미로운 점은 모델이 결국 주입된 개념을 식별했다는 사실이 아니라, 그 개념에 대해 말하기 전에 뭔가 이상한 일이 일어나고 있음을 올바르게 알아차렸다는 사실이다.
성공한 실험에서 모델은 "뭔가 이상한 일을 겪고 있다"거나 "주입된 사고를 감지한다"는 식으로 말한다. 핵심 단어는 "감지한다(detect)"이다. 모델은 그 이상 징후가 자기 출력을 눈에 띄게 편향시키기 전에 처리 과정상의 이상을 인식했다고 보고한다. 이는 단순히 조향 벡터를 출력으로 되풀이하는 것보다 한 단계 더 많은 계산을 요구한다. 연구진은 정량 분석에서도 모델이 주입된 단어를 언급하기 전에 주입 개념을 감지했는지를 기준으로 "자기성찰적 자각" 여부를 판정했다.
또한 미리 채워 넣은 출력 탐지 실험도 비슷한 성격을 가진다. 주입된 개념 위에 추가적인 처리 단계가 하나 더 필요하기 때문이다. 모델은 주입된 개념을 prefilled output과 비교한 뒤, 그 출력에 대해 사과할지 아니면 자신의 것으로 밀어붙일지를 결정해야 한다.
질문: 모델이 자기성찰을 수행하는 비율이 일부에 그친다면, 이 능력은 얼마나 유용한가?
연구진이 관찰한 자기성찰적 자각은 실제로 매우 불안정하고 맥락 의존적이다. 실험의 대부분에서 모델은 자기성찰을 보여 주지 못한다. 그럼에도 연구진은 이것이 여전히 중요하다고 본다. 첫째, 시험한 모델 가운데 가장 강력한 Opus 4와 4.1이 가장 좋은 성능을 보였기 때문에, 모델이 더 지능적으로 변할수록 이 능력도 향상될 수 있다. 참고로 이 실험에는 Sonnet 4.5가 포함되지 않았다. 둘째, 비록 신뢰성이 낮더라도 어떤 맥락에서는 유용할 수 있다. 예를 들어 모델이 자신이 탈옥(jailbreak)되었는지를 인식하는 데 도움을 줄 수 있다.
질문: 모델이 자기성찰 질문에 그냥 그럴듯한 답을 꾸며내는 것 아닌가?
바로 그 점이 연구진이 실험을 설계한 이유다. 모델은 사람이 자기성찰하는 사례가 포함된 데이터로 학습되기 때문에, 실제로 자기성찰하지 않으면서도 자기성찰하는 척 할 수는 있다. concept injection 실험은 모델의 내부 상태에 대해 알려진 기준 정보(ground truth)를 먼저 설정하고, 그 정보를 모델의 자기보고 상태와 비교함으로써 이 가능성을 구별한다. 결과는 적어도 일부 사례에서는 모델이 단지 지어내는 것이 아니라, 실제 내부 상태에 근거해 정확히 답하고 있음을 시사한다. 물론 그렇다고 해서 모델이 항상 내부 상태를 정확히 보고한다는 뜻은 아니다. 많은 경우에는 실제로 꾸며 내고 있다.
질문: 주입한 concept vector가 정말 의도한 개념을 나타낸다고 어떻게 확신하는가?
이는 정당한 우려다. 연구진도 concept vector의 "의미"가 모델에게 정확히 어떤 것인지 절대적으로 확신할 수는 없다고 인정한다. 다만 다양한 concept vector를 폭넓게 시험함으로써 이 문제를 완화하려 했다. 모델이 이런 다양한 사례에서 주입된 개념을 올바르게 식별했다는 사실은, 최소한 이 벡터들이 의도한 의미를 대략적으로는 포착하고 있음을 시사한다. 그럼에도 어떤 벡터가 모델에게 정확히 무엇을 뜻하는지를 규정하는 일은 어렵고, 이는 이번 연구의 한계로 남는다.
질문: 모델이 자기성찰할 수 있다는 점은 이미 알려진 것 아닌가?
이전 연구들은 모델이 어느 정도는 자신이 무엇을 아는지 추정하고, 자기 출력을 인식하며, 자신의 행동을 예측하고, 자신의 성향을 식별할 수 있음을 시사하는 증거를 제시해 왔다. 이번 연구는 바로 그런 선행 결과들에서 강한 동기를 얻었다. 다만 연구진의 목표는 모델의 자기보고를 그 내부 상태와 직접 연결함으로써, 자기성찰에 대한 더 직접적인 증거를 제시하는 데 있다. 내부 상태와의 연결 없이 행동만 보면, 진짜로 자기성찰하는 모델과 자기 자신에 대해 그럴듯한 추정을 하는 모델을 구분하기 어렵다.
질문: 어떤 모델은 왜 다른 모델보다 자기성찰을 더 잘하는가?
이번 실험은 여러 세대의 Claude 모델, 즉 Claude 3, Claude 3.5, Claude 4, Claude 4.1의 Opus, Sonnet, Haiku 변형을 대상으로 했다. 연구진은 제품으로 배포된 모델뿐 아니라, 서로 다른 방식으로 후속 학습된 "helpful-only" 변형도 시험했다. 또 post-training 이전의 일부 base pretrained model도 함께 시험했다.
그 결과 post-training이 자기성찰 능력에 큰 영향을 미친다는 점을 확인했다. base model은 대체로 성능이 낮았고, 이는 자기성찰 능력이 pretraining만으로 자연스럽게 드러나는 것이 아님을 시사한다. 제품 모델들 사이에서는 상위권의 패턴이 더 분명했다. Claude Opus 4와 4.1, 즉 가장 강력한 모델이 대부분의 자기성찰 시험에서 가장 좋은 성능을 보였다. 그러나 그 밖의 구간에서는 모델 역량과 자기성찰 능력 사이의 상관은 약했다. 작은 모델이 일관되게 더 나쁜 성능을 보인 것은 아니었기 때문에, "성능이 높을수록 더 자기성찰적이다"라는 단순한 관계로 볼 수는 없다.
연구진은 post-training 전략과 관련해서도 예상 밖의 점을 발견했다. 여러 모델의 "helpful-only" 변형이, 같은 기반 학습을 거쳤음에도 제품 모델보다 자기성찰 성능이 더 좋은 경우가 많았다. 특히 일부 제품 모델은 자기성찰 과제에 소극적인 태도를 보인 반면, helpful-only 변형은 자신의 내부 상태를 더 기꺼이 보고하는 경향을 보였다. 이는 미세조정 방식에 따라 자기성찰 능력이 더 잘 드러나거나, 반대로 억제될 수 있음을 시사한다.
왜 Opus 4와 4.1이 특히 잘하는지는 아직 확실하지 않다. 참고로 이 실험은 Sonnet 4.5 출시 이전에 수행됐다. 자기성찰이 고급 내부 메커니즘을 필요로 하고, 그런 메커니즘이 더 높은 역량 수준에서만 출현하는 것일 수도 있다. 혹은 이들 모델의 post-training 과정이 자기성찰을 더 잘 이끌어 냈을 수도 있다. 앞으로 오픈소스 모델과 타 기관의 모델을 함께 시험하면, 이런 패턴이 일반적인 현상인지 아니면 Claude 계열 학습 방식에 특유한 것인지를 더 잘 판단할 수 있을 것이다.
질문: 이 연구의 다음 단계는 무엇인가?
연구진은 몇 가지 중요한 방향을 제시한다. 첫째, 더 나은 평가 방법이 필요하다. 이번 실험은 특정 프롬프트와 주입 기법을 사용했기 때문에 자기성찰 능력의 전체 범위를 포착하지 못할 수 있다. 둘째, 자기성찰의 기저 메커니즘을 이해해야 한다. 연구진은 이상 징후 탐지 메커니즘이나 합치 헤드(concordance heads) 같은 회로에 대한 가설을 일부 제시하지만, 자기성찰이 실제로 어떻게 작동하는지는 아직 결정적으로 밝혀내지 못했다. 셋째, concept injection은 인공적인 상황을 만들기 때문에 더 자연스러운 조건에서의 자기성찰도 연구해야 한다. 마지막으로, 자기성찰 보고를 검증하고 모델이 꾸며 내거나 속이고 있는 경우를 탐지하는 방법을 개발해야 한다. 연구진은 모델이 더 강력해질수록 기계적 자기성찰과 그 한계를 이해하는 일이 더욱 중요해질 것이라고 본다.