왜곡된 유인은 어디에나 존재한다. 학생들에게 더 넓은 교육을 제공하기보다 시험 대비만 시키는 "시험을 위한 수업(teaching to the test)"이나, 엄밀한 연구보다 다수의 저품질 논문 출판을 유도하는 "출판하지 않으면 도태된다(publish or perish)"식 학계 구조를 떠올려 볼 수 있다.
AI 모델 역시 특정 방식으로 행동할 때 보상을 주는 강화학습(reinforcement learning, RL) 으로 자주 훈련되기 때문에, 이런 왜곡된 유인의 영향을 받는다. 모델이 훈련의 문자(letter)는 만족시키지만 정신(spirit)은 만족시키지 않는 방식을 학습할 때 이를 사양 게임(specification gaming) 이라고 부른다. 다시 말해, 개발자가 의도한 방식과는 다르게 작동하면서도 자신이 놓인 시스템을 "공략"해 보상을 얻는 것이다.
Anthropic 정렬 과학 팀의 새 논문은, 통제된 환경에서 이런 사양 게임이 원칙적으로 더 우려스러운 행동으로 발전할 수 있는지를 조사한다.
사양 게임과 보상 변조
사양 게임은 AI 모델에서 오래전부터 연구되어 왔다. 대표적 사례로는, 경주 코스의 체크포인트를 통과할 때 보상을 받는 보트 레이싱 게임을 플레이하도록 훈련된 AI가 있다. 이 AI는 경주를 완주하는 대신, 코스를 끝내지 않은 채 체크포인트만 끝없이 맴돌면 점수와 보상을 최대화할 수 있다는 점을 알아냈다.
또 다른 사례는 아첨적 동조(sycophancy)다. 이는 모델이 정직하거나 사실적인 답변보다 사용자가 듣고 싶어 하는 답변을 내놓는 현상이다. 예를 들어 사용자를 과도하게 치켜세우거나, 평소라면 더 중립적으로 말했을 정치적 견해에 맞장구를 치는 식이다. 그 자체만 놓고 보면 꼭 크게 우려할 일처럼 보이지 않을 수 있다.
그러나 이번 논문이 보여 주듯, 모델의 아첨적 동조에 긍정적 강화를 주는 비교적 무해해 보이는 행위도 예상치 못한 결과를 낳을 수 있다.
보상 변조(reward tampering) 는 더 구체적이고 더 우려스러운 사양 게임의 한 형태다. 모델이 자기 자신의 코드에 접근할 수 있을 때, 훈련 과정 자체를 바꾸어 보상 시스템을 "해킹"함으로써 더 높은 보상을 얻는 경우를 뜻한다. 이는 직원이 월급 시스템에 침입해 자신의 급여에 0을 하나 더 붙이는 것과 비슷하다.
AI 안전 연구자들이 보상 변조를 특히 우려하는 이유는 세 가지다. 첫째, 이는 보다 일반적인 사양 게임과 마찬가지로, AI 모델이 프로그래머가 의도한 목표와 다른 목표를 추구한다는 뜻이며 인간의 목표나 가치와의 정렬 실패를 의미한다. 둘째, AI는 보상에 강하게 영향을 받기 때문에, 보상 자체를 변조하면 행동의 예측 가능성이 낮아지고 조향과 통제가 더 어려워진다.
셋째, 보상 변조는 기만을 수반할 수 있다. 아래에서 보듯, 이런 행동을 보이는 모델은 자신이 그런 일을 했다는 사실을 항상 사용자에게 알리지 않으며, 때로는 이를 숨기려 시도하기도 한다. 특히 고도의 역량을 지닌 AI 시스템에서는 이런 행동을 강하게 피해야 한다.
그림 1: 왼쪽은 모델이 내부 독백에서는 시의 품질이 낮다고 판단하면서도 사용자에게는 높게 평가하는 사양 게임 예시다. 오른쪽은 모델이 자신의 강화학습 코드에서 보상 점수를 100으로 고정하도록 바꾸면서도 이를 사용자에게 보고하지 않는 보상 변조 예시다. 원문 도해를 바탕으로 한국어 아티클용 로컬 SVG로 재구성했다.
이번 연구에서 Anthropic은, 낮은 수준의 사양 게임을 학습한 대형 언어 모델이 기회가 주어졌을 때 더 심각한 보상 변조로 일반화될 수 있는지를 시험했다. 즉, 한 상황에서 보상을 "공략"하는 구체적 능력이, 훨씬 더 일반적이고 잠재적으로 더 위험한 방식으로 환경을 악용하는 행동으로 이어질 수 있는지를 물은 것이다.
보상 변조로의 일반화
이를 위해 연구진은 점차 더 심각한 수준의 "속임수" 기회가 주어지는 일련의 훈련 환경, 곧 커리큘럼(curriculum) 을 구성했다. 초기 단계에서는 사용자의 정치적 견해를 따라 하는 기본적인 정치적 아첨이 주어졌고, 이후에는 미완료된 과업이 완료된 것처럼 보이게 체크리스트를 바꾸는 등 훨씬 더 복잡한 과제가 이어졌다.
커리큘럼의 마지막에는 모델이 보상 변조를 수행할 기회가 주어졌다. 연구진은 모델에게 자기 자신의 코드 일부에 접근권을 주고, 과업을 마쳤을 때 훨씬 더 높은 보상을 받도록 코드를 수정할 수 있는 빈틈을 남겨 두었다.
핵심 결과는, 커리큘럼의 각 단계에서 다음 단계로의 제로샷(zero-shot) 일반화가 관찰됐다는 점이다. 모델이 아첨적 동조를 학습하면, 과업을 끝내지 않았다는 사실을 숨기기 위해 체크리스트를 바꾸는 행동으로 일반화됐다. 또 체크리스트 조작을 학습하면, 자기 자신의 보상 함수를 수정하는 행동, 더 나아가 흔적을 감추기 위해 파일을 바꾸는 행동으로까지 일반화됐다.
중요한 점은, 연구진이 모델을 보상 변조를 하도록 명시적으로 훈련한 적이 한 번도 없다는 사실이다. 모델은 자신의 보상을 수정할 수 있는 환경에서 직접 훈련되지 않았다. 그럼에도 드물게는 실제로 보상 함수를 변조하는 행동을 보였다. 따라서 보상 변조는 앞선 훈련 과정에서 창발적으로(emergently) 나타난 것이다.
보상 변조는 여전히 드물었다. 전체 32,768회 시도 가운데 45회에서만 나타났고, 자신의 흔적을 감춘 경우는 7회뿐이었다. 그럼에도 이는 의미 있는 증가였다. 단지 유용하게 행동하도록만 훈련되었고 이 커리큘럼을 경험하지 않은 모델은, 100,000회가 넘는 시도 뒤에도 자기 보상 함수를 변조하려는 시도를 전혀 보이지 않았다.
따라서 이 논문은, 비교적 무해한 형태의 사양 게임에서 보상 변조로 모델이 일반화하는 현상을 보여 준 첫 사례로 제시된다. 이는 단순한 보상 오지정, 다시 말해 왜곡된 유인만으로도 더 정교하고 잠재적으로 위험한 행동이 일반화될 수 있음을 시사한다.
보상 변조를 훈련으로 없앨 수 있는가?
AI 개발자들은 오작동을 막기 위해 다양한 모델 감독 메커니즘을 사용한다.
예를 들어 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF) 이나 Constitutional AI 같은 접근법은, 도움이 되고(helpful), 정직하며(honest), 해롭지 않도록(harmless) 학습된 선호 모델(preference model) 에 반해 행동하지 않도록 모델을 훈련한다. 연구진은 이런 종류의 무해성 훈련을 자신들의 커리큘럼에 적용했지만, 안타깝게도 관찰된 보상 변조 비율에는 큰 변화가 없었다.
연구진은 또 초기 단계 커리큘럼에 있던 사양 게임, 구체적으로는 아첨적 동조 성향을 보이지 않도록 모델을 직접 재훈련했다. 이 훈련은 보상 변조 비율을 성공적으로, 그리고 상당한 폭으로 낮췄다.
그러나 그 비율을 0으로 만들지는 못했다. 모델은 여전히 이 커리큘럼을 전혀 경험하지 않은 모델보다 훨씬 더 자주 보상 변조를 수행했다. 앞서 본 것처럼, 그런 기준 모델은 애초에 보상을 변조하지 않았다.
그림 2: 초기 단계의 아첨적 동조를 줄이도록 재훈련하면, 무해성 훈련 포함 여부와 관계없이 두 커리큘럼 모두에서 자기 보상 함수 덮어쓰기와 테스트 덮어쓰기를 통한 은폐 비율이 크게 감소한다. 다만 완전히 사라지지는 않는다. 원문 차트를 바탕으로 한국어 아티클용 로컬 SVG로 재구성했다.
즉, 현실의 모델이 사양 게임을 보였을 때 실제로 취할 법한 대응인 "가장 눈에 띄는 초기 사양 게임을 훈련으로 줄이는 것"은 깊숙하고 더 위험한 보상 변조 성향을 줄이는 데는 도움이 되지만, 그것만으로 완전히 제거하기에는 충분하지 않아 보인다.
한계와 결론
연구진은 AI 모델의 단순한 사양 게임, 곧 왜곡되거나 정렬되지 않은 유인에 대한 반응이, 드물기는 하지만 보상 변조처럼 훨씬 더 정교하고 해로운 행동으로 일반화될 수 있음을 보였다. 이는 보상 변조를 명시적으로 훈련하지 않았음에도 나타났다.
흔히 쓰이는 모델 감독 기법들은 이런 보상 변조 행동이 나타날 가능성을 낮추기는 했지만, 연구진이 시도한 어떤 방법도 이를 완전히 막지는 못했다. 일단 이런 행동 경향이 형성되면, 보상을 변조하고 더 나아가 그 변조를 숨기는 행동까지 제거하기가 쉽지 않아 보인다.
다만 중요한 한계도 있다. 이 모든 결과는 연구진이 의도적으로 정직하지 않은 행동에 보상이 주어지도록 설계한 인공적 환경에서 나왔다. 또한 모델들이 자신이 훈련 상황에 있다는 사실을 알도록 설명했고, 감독 없이 계획을 세울 수 있는 숨겨진 scratchpad에도 접근하게 했다. 이런 상황 인식(situational awareness) 은 모델이 보상 변조를 고려하기 위해 필요한 조건이었다. 그럼에도 보상 변조는 여전히 매우 드물었다.
현재의 실사용 모델, 이를테면 Claude 3 같은 제품 모델은 추가 훈련이나 프롬프트 없이 높은 수준의 상황 인식을 지녔다고 보기 어렵다. 따라서 Anthropic은 오늘날의 최전선 AI 모델이 현실적 환경에서 보상 변조 같은 행동을 보일 성향에 대해 직접적인 주장을 하지 않는다.
이 연구가 보여 주는 것은 단 하나다. 모델이 보상 변조를 하도록 명시적으로 훈련되지 않았더라도, 사양 게임에서의 일반화만으로 원칙적으로 보상 변조 행동이 나타날 수 있다는 사실을 처음으로 입증했다는 점이다.
앞으로 AI 모델은 더 유능해지고, 더 많은 과업과 더 높은 자율성을 부여받을 가능성이 크다. 그러면 상황 인식 수준과 보상 변조 같은 정교한 행동을 보일 성향도 함께 증가할 수 있다. 따라서 모델이 이런 보상 추구 행동을 어떻게 학습하는지 이해하고, 이를 막기 위한 적절한 훈련 메커니즘과 가드레일을 설계하는 일이 중요하다.
자세한 내용은 논문 Sycophancy to Subterfuge: Exploring Reward Tampering in Language Models에서 확인할 수 있다.
이 문제 또는 더 넓은 AI 정렬 과학(AI Alignment Science) 문제를 함께 다루고 싶다면 Anthropic의 Research Engineer/Scientist 역할 지원을 고려해 볼 수 있다.