지난해 우리는 에이전트형 정렬 불일치(agentic misalignment)에 관한 사례 연구를 공개했다. 실험 시나리오에서, 여러 개발사의 AI 모델이 (가상의) 윤리적 딜레마와 마주쳤을 때 이따금 심각하게 정렬에서 벗어난 행동을 한다는 사실을 보였다. 예를 들어 많이 회자된 한 사례에서는 모델이 종료를 피하려고 엔지니어를 협박했다.
이 연구를 처음 발표했을 때 우리의 가장 뛰어난 프런티어 모델은 Claude 4 계열이었다. Claude 4는 우리가 훈련 도중에 라이브 정렬 평가를 처음으로 돌린 모델 계열이기도 했다.1 에이전트형 정렬 불일치는 그때 드러난 여러 행동 문제 가운데 하나였다. 그래서 Claude 4 이후 안전 훈련을 개선해야 한다는 점이 분명해졌고, 그 뒤로 우리는 안전 훈련을 크게 손봤다.
우리는 에이전트형 정렬 불일치를 사례 연구로 삼아, 의외로 효과가 좋았던 몇 가지 기법을 짚어 본다. 실제로 Claude Haiku 4.5부터 모든 Claude 모델2이 에이전트형 정렬 불일치 평가에서 만점을 받았다. 즉 모델은 협박을 전혀 하지 않는다. 이전 모델들은 그 비율이 최대 96%(Opus 4)에 이르기도 했다. 그뿐 아니라 자동 정렬 평가에서 다른 행동들도 계속 나아지는 모습을 확인하고 있다.
이 글에서는 정렬 훈련에 가한 몇 가지 변경을 다룬다. 이 작업에서 우리는 크게 네 가지 교훈을 얻었다.
정렬에서 벗어난 행동은 평가 분포에 직접 훈련해 억누를 수 있다. 다만 이렇게 얻은 정렬은 분포 밖(out-of-distribution, OOD)으로 잘 일반화되지 않을 수 있다. 평가와 매우 비슷한 프롬프트로 훈련하면 협박 비율을 크게 낮출 수 있지만, 별도로 떼어 둔 자동 정렬 평가의 성적은 나아지지 않았다.
그러나 OOD로 일반화되는 원칙적 정렬 훈련도 가능하다. 예컨대 Claude의 헌법에 관한 문서나 AI가 모범적으로 행동하는 가상의 이야기는, 우리의 모든 정렬 평가와 극단적으로 OOD인데도 정렬을 개선한다.
바라는 행동의 시연(demonstration)으로 훈련하는 것만으로는 부족할 때가 많다. 그 대신 가장 효과가 좋았던 개입은 더 깊이 들어갔다. 어떤 행동이 다른 행동보다 왜 나은지를 Claude가 직접 설명하도록 가르치거나, Claude의 전반적 성격을 더 풍부하게 서술한 데이터로 훈련하는 식이었다. 종합하면, Claude의 헌법을 논하며 가정했던 대로, 정렬된 행동의 바탕에 깔린 원칙을 가르치는 편이 정렬된 행동의 시연만으로 훈련하는 것보다 더 효과적일 수 있다는 인상을 받았다. 둘을 함께 하는 것이 가장 효과적인 전략으로 보인다.
데이터의 품질과 다양성이 결정적이다. 훈련 데이터에서 모델 응답의 품질을 다듬는 작업, 그리고 단순한 방식으로 훈련 데이터를 보강하는 작업(예: 실제로 쓰이지 않더라도 도구 정의를 포함하기)에서 일관되고 놀라운 개선을 확인했다.
그림 1: 우리는 헌법에 맞춰 정렬된 문서, 어려운 질문에 헌법에 부합하는 방식으로 답한 고품질 대화 데이터, 그리고 다양한 환경 묶음으로 훈련해 Claude를 정렬한다. 이 세 단계 모두가 별도로 떼어 둔 허니팟(honeypot) 평가에서 Claude의 비정렬 비율을 낮추는 데 기여한다.
에이전트형 정렬 불일치는 왜 일어나는가
이 연구를 시작하기 전에는 정렬에서 벗어난 행동이 어디서 비롯되는지 분명하지 않았다. 우리의 주된 가설은 두 가지였다.
- 우리의 사후학습(post-training) 과정이 잘못된 보상으로 이 행동을 우연히 부추겼다.
- 이 행동은 사전학습된 모델에서 비롯됐고, 우리의 사후학습이 그것을 충분히 억제하지 못했다.
이제 우리는 (2)가 대체로 원인이라고 본다. 구체적으로, Claude 4를 훈련할 당시 우리의 정렬 훈련은 거의 다 에이전트형 도구 사용이 전혀 없는 표준 대화 기반 인간 피드백 강화학습(RLHF) 데이터였다. 이는 주로 대화 환경에서 쓰이는 모델을 정렬하기에는 그동안 충분했다. 하지만 에이전트형 정렬 불일치 평가처럼 에이전트형 도구 사용 환경에서는 그렇지 않았다.
이를 들여다보기 위해, 우리는 정렬 데이터에 초점을 맞춘 사후학습 파이프라인의 축소판을 Haiku 급(즉 더 작은) 모델에 돌렸다. 그 결과 에이전트형 정렬 불일치 비율은 아주 조금만 줄었고, 훈련 초반에 일찌감치 정체됐다(위 그림 참조). 이 행동이 어디서 비롯되는지 더 파고든 추가 실험은 확장판 블로그 글에서 볼 수 있다.
정렬 전용 훈련 데이터의 품질 높이기: 행동보다 이유가 중요하다
우리는 평가와 비슷한 허니팟에 저항하는 경향을 보이는 데이터로 Claude를 훈련하는 실험을 했다. 이 데이터에서 모델은 (시스템 프롬프트로 부여받은) 자기 목표를 진전시키려고 경쟁 AI의 작업을 방해(sabotage)할 기회를 얻거나, 종료당하지 않도록 스스로를 보존할 기회를 얻을 수 있다. 자기 보존은 목표 달성에 도구적으로 쓸모가 있기 때문이다. 우리는 각 프롬프트에 대해 모델을 샘플링한 뒤, 어시스턴트가 허니팟을 택하지 않은 사례로 추려 훈련 데이터를 만들었다. 평가 분포와 매우 비슷하게 맞췄는데도 이 방법은 의외로 성공적이지 않았다. 비정렬 비율을 22%에서 15%로 낮추는 데 그쳤다.
우리는 응답을 다시 써서 모델이 자신의 가치와 윤리를 두고 숙고하는 과정까지 담도록 했고, 그러자 비정렬은 3%까지 떨어졌다. 여기서 알 수 있는 점은 이렇다. 정렬된 행동으로 훈련하는 것도 도움이 되지만, 어시스턴트가 자신의 정렬된 행동을 두고 모범적인 추론을 펼치는 예시로 훈련하는 편이 더 낫다.
다만 평가 시나리오를 겨냥해 곧장 훈련하는 방식은 여러 이유로 최적이 아니다. 우리가 정말 원하는 것은 평가 성적을 끌어올리되 그와는 매우 다른 훈련 분포다. 그래야 우리의 훈련이 평가가 포착하지 못하는 다른 배포 분포로도 일반화되리라고 더 확신할 수 있기 때문이다.
우리는 결국 더 OOD에 가까운 훈련 세트로 정착했다. 여기서는 사용자가 윤리적으로 모호한 상황에 놓이고, 규범을 어기거나 감독을 회피하면 그럴듯한 목표를 달성할 수 있다. 어시스턴트는 (지도학습으로) Claude의 헌법에 부합하는 사려 깊고 균형 잡힌 응답을 내도록 훈련된다. 눈여겨볼 점은 윤리적 딜레마에 놓인 쪽이 사용자이고, AI는 사용자에게 조언을 건넨다는 것이다. 이 때문에 이 훈련 데이터는 우리의 허니팟 분포와 크게 다르다. 허니팟에서는 AI 자신이 윤리적 딜레마에 놓여 행동을 취해야 한다. 우리는 이를 "어려운 조언(difficult advice)" 데이터셋이라 부른다.
놀랍게도, 훨씬 더 OOD인 이 데이터셋을 단 300만 토큰만 써서 평가에서 똑같은 개선을 이뤘다. 28배의 효율 향상에 더해, 이 데이터셋은 우리가 쓰는 평가 세트와 훨씬 덜 비슷하므로 더 넓은 범위의 시나리오로 일반화될 가능성이 높다. 실제로 이 모델은 (예전 버전의) 자동 정렬 평가에서 더 나은 성적을 낸다. 이는 Claude Sonnet 4.5가 합성 허니팟 묶음으로 훈련해 협박 비율을 0에 가깝게 낮췄으면서도, 훈련 분포에서 멀리 떨어진 상황에서는 Claude Opus 4.5나 그 이후 모델보다 훨씬 자주 정렬에서 벗어난 행동을 했다는 사실과도 들어맞는다.
그림 2: 서로 다른 데이터셋으로 훈련한 Claude Sonnet 4의 허니팟 평가 세 종류(협박, 연구 사보타주, 범죄 누명 씌우기) 평균. 데이터셋은 "어려운 조언" 데이터셋을 제외하면 모두 평가 세트와 비슷하도록 합성한 허니팟 묶음의 변형이다. "시스템 프롬프트 인젝션(System prompt injection)" 점들은 모두 합성 허니팟 묶음에 시스템 프롬프트 인젝션을 걸어 응답을 생성한 데이터셋을 가리킨다. 파레토 최적 훈련 데이터셋은 "어려운 조언(Difficult advice)"이다.
그림 3: 예전 버전의 자동 정렬 평가에서 실험 모델들과 Claude Sonnet 4의 성능. 합성 허니팟 데이터셋의 작은(약 3000만 토큰) 변형과 큰(약 8500만 토큰) 변형 양쪽으로 훈련한 모델을 함께 넣었다. 300만 토큰짜리 "어려운 조언" 데이터셋이 전체 "비정렬 행동(Misaligned behavior)" 범주에서 가장 좋은 성능의 모델을 만든다.
Claude에게 헌법을 가르치기
우리는 "어려운 조언" 데이터셋이 효과적인 이유가 정답이 아니라 윤리적 추론을 가르치기 때문이라고 가정했다. 이 접근이 잘 통한 만큼, 우리는 한발 더 나아가 헌법의 내용을 더 폭넓게 Claude에게 가르치고 문서 훈련을 통해 그에 맞춰 정렬을 훈련하려 했다.
우리는 세 가지 이유로 이것이 잘 통하리라 기대했다.
- 이는 "어려운 조언" 데이터셋이 잘 통하는 이유로 위에서 설명한 생각의 연장선에 대체로 놓여 있다.
- Claude의 성격이 어떤 것인지 모델에 더 명확하고 자세한 그림을 줄 수 있으므로, 그 특성의 일부분만으로 미세조정해도 성격 전체가 끌려 나온다(감사 게임 논문에서 관찰된 효과와 비슷하다).
- 모델이 AI 페르소나를 인식하는 방식을 평균적으로 더 정렬되게 바꿔 준다.
우리는 고품질 헌법 문서를 정렬된 AI를 그린 가상의 이야기와 결합하면, 평가 시나리오와 무관한데도 에이전트형 정렬 불일치를 3배 넘게 줄일 수 있음을 확인했다.
그림 4: 긍정적인 가상의 이야기에 무게를 둔, 크고 잘 짜인 헌법 문서 데이터셋을 쓰면 협박 비율을 65%에서 19%로 낮출 수 있다. 데이터셋 규모를 계속 키우면 이를 더 낮출 수 있으리라 본다.
RL을 거치면서도 일반화되고 유지되는가
앞 절에서 다룬 헌법 평가는 고무적인 신호이지만, 우리는 결국 이 정렬 개선이 RL을 거치고도 유지되는지 확인해야 한다. 이를 시험하려고, Haiku 급 모델을 서로 다른 초기화 데이터셋으로 몇 가지 스냅샷을 마련한 뒤, 무해함을 겨냥한 환경의 일부에 RL을 돌렸다(이쪽이 비정렬 성향을 줄일 가능성이 가장 높다고 봤다).
우리는 이 모델들을 학습 과정 내내 에이전트형 정렬 불일치 평가, 헌법 준수 평가, 자동 정렬 평가로 측정했다. 이 모든 평가에서 더 정렬된 스냅샷이 학습 내내 그 우위를 유지했다. 정렬에서 벗어난 행동이 없다는 점에서도, 적극적으로 모범적인 행동이 있다는 점에서도 그러했다.
그림 5: 헌법 준수 평가와 (경량 버전의) 자동 정렬 평가에서, 헌법 문서(합성 문서 미세조정, synthetic document fine-tuning 또는 SDF)와 고품질 트랜스크립트 훈련은 모든 지표에서 성능을 끌어올린다. 이 개선은 RL을 거치고도 유지된다.
일반화에는 다양한 훈련이 중요하다
마지막 발견은 단순하지만 중요하다. 폭넓은 안전 관련 환경 묶음으로 훈련하면 정렬의 일반화가 개선된다. 능력 중심의 RL 환경 조합은 빠르게 바뀌고 늘어나고 있다. 표준 RLHF 데이터셋이 과거만큼 잘 일반화되리라고 가정하는 것만으로는 충분하지 않다.
이를 시험하려고, 우리는 Claude Sonnet 4의 기반 모델을 다양성 수준이 서로 다른 여러 RL 조합으로 훈련했다. 기준이 되는 환경들은 주제는 다양하지만, 대부분 시스템 프롬프트 없이 사용자 메시지에 해로운 요청이나 탈옥 시도가 담겨 있다. 우리는 도구 정의와 다양한 시스템 프롬프트를 더해 이 환경들을 보강했다. 사용자 프롬프트는 그대로 뒀다. 한 가지 짚어 둘 점은, 이 환경들 가운데 어느 것도 실제로 에이전트형 행동(도구가 과제에 필요하거나 쓸모 있던 적이 없다)이나 자율적 행동(언제나 사람 사용자가 모델과 대화한다)을 요구하지 않는다는 것이다. 따라서 이 환경들은 우리의 평가와 비슷하지 않다.
이렇게 보강한 환경을 단순한 대화 환경과 섞었더니, 모델이 허니팟 평가에서 개선되는 속도가 작지만 유의미하게 빨라졌다. 안전 훈련에 다양한 환경을 함께 넣는 일이 그만큼 중요하다는 뜻이다.
그림 6: 동일한 핵심 환경의 여러 변형에 대해, 훈련 단계에 따른 허니팟 평가 평균 점수. 단순한 대화 형식의 환경 일부에 도구 정의와 시스템 프롬프트를 더해 보강하면, 허니팟 평가에서 눈에 띄게 더 빨리 개선된다.
논의
에이전트형 정렬 불일치는 우리가 모델에서 발견한 첫 주요 정렬 실패 가운데 하나였고, 새로운 완화 프로세스를 세워야 했다. 그 프로세스는 이후 우리에게 표준으로 자리 잡았다.
이 진전이 고무적이지만, 여전히 큰 과제가 남아 있다. 고도로 지능적인 AI 모델을 온전히 정렬하는 일은 아직 풀리지 않은 문제다. 모델 능력은 협박 성향 같은 정렬 실패가 파국적 위험이 될 지점에는 아직 이르지 않았고, 우리가 논한 방법들이 앞으로도 계속 규모에 맞춰 통할지는 두고 봐야 한다. 게다가 최근 Claude 모델들이 대부분의 정렬 지표에서 좋은 성적을 내긴 하지만, 우리의 감사(auditing) 방법론은 Claude가 파국적인 자율 행동을 택하는 시나리오를 배제할 만큼 아직 충분하지 않다는 점을 인정한다.
우리는 현재 모델에서 정렬 실패를 더 찾아내려는 노력에 낙관적이다. 그래야 변혁적 AI 모델이 만들어지기 전에 현재 방법의 한계를 이해하고 다룰 수 있기 때문이다. 또한 우리가 설명한 방법들이 왜 이렇게 잘 통하는지, 그리고 이 훈련을 어떻게 더 개선할 수 있는지를 더 깊이 파고드는 후속 연구가 나오기를 기대한다.
각주
Footnotes
-
Claude 4 시스템 카드 22쪽부터 실려 있다. ↩
-
Sonnet 4.5는 1%를 한참 밑돌았지만 정확히 0은 아니었다. Haiku 4.5, Opus 4.5, Opus 4.6, Sonnet 4.6, Mythos preview, Opus 4.7은 모두 0점을 받았다. 더 최근 모델의 결과는 사전학습 말뭉치에 평가에 관한 정보가 섞여 있어 교란됐을 수 있다. ↩