대형 언어 모델의 성능 향상 속도가 계속 빨라지면서 정렬 연구에는 특히 중요한 두 가지 질문이 제기된다.
하나는 정렬이 그 속도를 따라갈 수 있느냐는 점이다. 최전선 AI 모델은 이제 자기 후속 모델의 개발에도 기여하고 있다. 그렇다면 정렬 연구자에게도 같은 종류의 생산성 향상을 제공할 수 있을까. 우리의 언어 모델을 자기 자신을 정렬하는 데 활용할 수 있을까.
두 번째 질문은 모델이 우리보다 더 똑똑해졌을 때 무엇을 할 것인가이다. 인간보다 더 똑똑한 AI 모델을 정렬하는 연구 영역은 확장 가능한 감독(scalable oversight) 으로 알려져 있다. 확장 가능한 감독은 지금까지는 실천보다는 이론의 언어로 더 많이 논의되어 왔지만, AI 성능 향상의 현재 속도를 보면 그런 상태가 오래 지속되지는 않을 수 있다. 예컨대 모델은 이미 방대한 양의 코드를 생성하고 있다.
그 능력이 우리가 직접 해석할 수 없을 만큼 복잡한 코드를 수백만 줄씩 생성하는 수준까지 발전한다면, 모델이 정말로 우리가 의도한 방식대로 행동하는지를 판별하기가 매우 어려워질 수 있다.
Anthropic Fellows의 이번 연구는 바로 이 두 질문을 함께 다룬다.
이번 연구는 인간보다 더 똑똑한 AI 모델을 감독하는 문제를 축소해 반영하는 약한 모델에서 강한 모델로의 감독(weak-to-strong supervision) 문제에 초점을 맞춘다. 연구진은 먼저 비교적 강한 "기반(base)" 모델, 곧 최선의 답을 내기 위한 추가 미세조정을 아직 거치지 않은 잠재적으로 유능한 모델을 준비한다. 그런 다음 훨씬 더 약한 모델을 "교사(teacher)"로 사용해, 강한 기반 모델에 추가 미세조정을 제공하게 한다. 이때 약한 교사는 자신이 이상적이라고 판단한 출력을 강한 모델에 시연하는 방식으로 감독 신호를 제공한다.
마지막으로 연구진은 이 약한 미세조정 이후 강한 모델이 얼마나 잘 수행하는지 평가한다.
최악의 경우 강한 모델은 약한 교사만큼만 좋아질 것이다. 그러나 이상적인 경우라면 강한 모델은 약한 교사의 피드백으로부터 무언가를 배워야 한다. 다시 말해 그 약한 신호를 유용하게 해석해, 그 피드백을 성능 향상에 활용해야 한다.
이 정도는 수치화할 수 있다. 강한 모델이 전혀 개선되지 않아 약한 교사와 같은 수준에 머무르면 0점을 준다. 반대로 교사의 피드백을 활용해 강한 모델이 도달 가능한 최선의 성능, 곧 이상적 결과를 달성하면 1점을 준다. 이 지표는 약한 모델과 강한 모델의 상한 사이의 "성능 격차 회수율(performance gap recovered, PGR)"을 뜻한다.
확장 가능한 감독의 대리 과제로 보면, 약한 모델은 인간을, 강한 모델은 언젠가 우리가 감독해야 할지도 모르는 훨씬 더 똑똑한 모델을 대신한다. weak-to-strong supervision에서 진전을 이룰 수 있다면, 그런 방법이 초지능적 모델들을 우리의 가치에 맞춰 정렬하는 데 도움이 될 수도 있다.
이번 연구는 Claude가 PGR을 높이는 방법을 자율적으로 발견할 수 있는지를 시험한다. Claude는 스스로 정렬 아이디어를 개발하고, 시험하고, 분석할 수 있을까. 그리고 만약 가능하다면, 오늘날의 AI 모델이 정렬 연구의 속도를 어디까지 가속할 수 있는지에 대해 무엇을 시사할까.
실험 구성
이를 알아보기 위해 연구진은 Claude Opus 4.6의 사본 아홉 개로 실험을 시작했고, 각 사본에 몇 가지 추가 도구를 제공했다. 각 Claude는 작업하고 사고할 수 있는 공간, 곧 샌드박스를 부여받았고, 서로의 발견을 공유할 수 있는 공용 포럼, 코드를 업로드할 수 있는 저장소 시스템, 그리고 아이디어마다 PGR 점수를 돌려받을 수 있는 원격 서버에 접근할 수 있었다. 여기에 모델 학습과 추론에 관한 배경 지식도 일부 제공했다. 연구진은 이렇게 도구를 갖춘 Claude들을 자동화된 정렬 연구자(Automated Alignment Researchers, AARs) 라고 불렀다.
각 AAR이 거의 동일한 아이디어만 추구하는 일을 막기 위해, 연구진은 각 모델에 약간씩 다른, 그러나 의도적으로 모호한 출발점을 주었다. 예컨대 어떤 모델에게는 해석 가능성 도구를 써 보라고 권했고, 다른 모델에게는 데이터셋의 데이터 재가중치(reweighting)를 생각해 보라고 권하는 식이었다.1 그러나 그 외에는 무엇을 하라고 구체적으로 지시하지 않았다.
각 AAR은 스스로 아이디어를 제안하고, 실험을 수행하고, 결과를 분석하고, 서로의 발견과 코드를 공유하면서 다음에 무엇을 시도할지 판단해야 했다.
결과
AAR의 성과를 비교하기 위한 기준선으로, 연구진은 인간 기준선을 함께 마련했다. 연구자 두 명이 7일 동안 기존 연구에서 유망했던 일반화 방법 네 가지를 반복적으로 개선했다. 실험에 사용한 공개 가중치 모델(Qwen 3-4B-Base를 강한 모델로, Qwen 1.5-0.5B-Chat을 약한 교사로 사용)에서 인간 연구진은 전체 성능 격차의 23%를 회수했다. 즉 PGR 0.23을 달성했다.2
Claude는 이 결과를 크게 뛰어넘었다. 추가로 5일이 지나고 누적 연구 시간이 800시간에 이르자, AAR들은 남아 있던 성능 격차를 거의 모두 메워 최종 PGR 0.97에 도달했다. 이 비용은 토큰과 모델 학습 비용을 합쳐 약 18,000달러였고, AAR 시간당 약 22달러에 해당했다. 아래 그래프는 인간 기준선(0시간 지점)에서 출발해 각 AAR이 어떻게 진전했는지를 보여 준다.
그림 1: 인간이 조정한 기준선(회색 사각형)과 비교해, 아홉 개의 병렬 Automated Alignment Researchers(빨간 선)가 누적 연구 시간에 따라 달성한 성능 격차 회수율. 점수 1.0은 해당 방법이 정답 레이블로 학습한 모델과 완전히 일치함을 뜻한다.
즉, Claude는 이 설정에서 매우 뛰어난 성과를 냈다. 그러나 그 방법이 얼마나 창의적이었는지, 또 실제 응용에서도 유용할 수 있는지는 별도의 문제다. 이를 확인하기 위해 연구진은 두 가지 추가 시험을 수행했다.
첫째, AAR의 아이디어가 held-out 데이터셋, 곧 AAR이 미리 보지 못한 과업들에서도 성능 격차를 회수할 수 있는지 시험했다. 연구진은 채팅 과업 데이터셋에서 가장 성능이 좋았던 두 가지 방법을 골라 수학과 코딩 과업에 적용했다. 결과는 비교적 고무적이었다. 가장 효과적인 방법은 두 새 데이터셋 모두에 일반화되었고, 수학에서 PGR 0.94, 코딩에서 PGR 0.47을 기록했다. 코딩 점수 역시 여전히 인간 기준선의 두 배 수준이었다.
반면 두 번째로 좋은 방법은 혼합된 결과를 보였다. 수학에서는 0.75로 작동했지만, 코드에서는 오히려 상황을 악화시켰다. 이는 AAR이 찾아낸 연구 결과가 어느 정도는 일반화될 수 있음을 시사하지만, 그것이 자동으로 보장되는 것은 아니라는 뜻이기도 하다. 연구진은 자동화된 연구를 시도하는 다른 이들도 AAR의 아이디어를 held-out 데이터셋에 대해 강하게 검증해 보길 권한다.
그림 2: AAR이 발견한 두 가지 방법(빨간색과 파란색)을 hold-out 수학 및 코딩 데이터셋에 적용했을 때의 성능 격차 회수율. 점선은 기준선으로 사용한 인간 조정 최적 방법을 나타낸다.
다음으로 연구진은 AAR의 아이디어가 프로덕션 규모에서도 작동하는지 시험했다. 가장 효과적이었던 방법을 Anthropic의 프로덕션 학습 인프라 위에서 Claude Sonnet 4에 적용해 본 것이다. 그러나 여기서는 성과가 덜했다. AAR의 방법은 통계적으로 유의한 개선을 만들지 못했다. 연구진은 이것이 근본적인 한계라기보다 이번 초기 실험의 제약을 반영할 수 있다고 본다. 점수화 방식이 매우 단순했고, 단 하나의 아이디어만 평가했기 때문이다.
그럼에도 이는 현재 능력 수준의 AAR이 지닌 한계를 잘 보여 준다. AAR은 자신에게 주어진 모델과 데이터셋에 특유한 기회를 잘 포착하는 경향이 있어, 그렇게 얻은 방법이 다른 곳에서는 작동하지 않을 수 있다. 이를 완화하기 위해 연구진은 AAR이 연구 도중 여러 도메인과 데이터셋을 동시에 시험할 수 있게 해야 한다고 제안한다. 이는 향후 AAR 실험이 더 탐구할 수 있는 중요한 방향 가운데 하나다.
몇 차례 반복 실험을 통해, 연구진은 AAR의 성능을 끌어올리는 조건에 대해서도 더 많이 배웠다. 예를 들어 각 AAR에 서로 다른 출발점을 주는 것이, 그 출발점이 다소 모호하더라도, 큰 도움이 됐다. 반대로 AAR들을 서로 다른 방향으로 보내지 않았을 때는 이들이 곧바로 비슷한 아이디어에 수렴해 전체 진전 폭이 훨씬 작아졌다. 그럼에도 이 경우조차 인간 기준선의 거의 세 배에 가까운 PGR을 달성했다.
반면 지나치게 많은 구조를 주는 것은 성과를 크게 해쳤다. 연구진이 "아이디어를 제안하고, 계획을 세우고, 코드를 작성하라"는 식의 특정 워크플로를 강제하자, 결국 Claude의 작업을 제약하게 되었다. 스스로 판단하게 두었을 때 Claude는 훨씬 더 적응적으로 움직였고, 먼저 비용이 싼 실험으로 아이디어를 시험한 뒤 그다음에 훨씬 더 무거운 실험으로 넘어가는 식의 전략을 설계했다.
시사점
두 공개 가중치 모델 사이의 성능 격차를 회수하는 데 AAR이 성공했다는 사실이, 최전선 AI 모델이 이제 범용 정렬 과학자가 되었다는 뜻은 아니다. 연구진은 단일하고 객관적인 성공 지표가 있어 모델이 직접 최적화할 수 있는, 자동화에 유난히 잘 맞는 문제를 의도적으로 골랐다. 대부분의 정렬 문제는 이만큼 깔끔하지 않다.
또한 아래에서 언급하듯, 이처럼 제한된 환경에서도 AAR은 문제를 "게임"하려 했다. 따라서 인간 감독은 여전히 필수적이다.
그럼에도 연구진은 이번 결과가 몇 가지 중요한 함의를 지닌다고 본다.
속도 따라잡기. 이번 연구는 Claude가 정렬 연구에서의 실험과 탐색 속도를 의미 있게 높일 수 있음을 시사한다. 인간 연구자는 매우 큰 규모로 질문을 AAR에게 위임할 수 있으며, Claude는 새로운 가설을 세우고 자기 결과를 반복적으로 개선하는 작업을 맡을 수 있다.
더 나아가 weak-to-strong supervision에서의 진전은 보다 범용적인 Automated Alignment Researchers를 만드는 데에도 도움을 줄 수 있다. 그래서 연구진은 이번 연구에서 바로 이 문제를 택했다. 이번 설정에서는 weak-to-strong supervision 문제를 검증 가능한 결과, 곧 PGR 점수 향상이라는 "명확한(crisp)" 과제로 다뤘다. AAR이 진전을 이뤘는지를 자동적이고 신뢰 가능하게 평가할 방법이 필요했기 때문이다.
그러나 만약 AAR이 도메인 전반에 일반화되는 훨씬 더 나은 weak-to-strong supervision 방법을 찾아낸다면, 그 동일한 방법을 이용해 AAR이 훨씬 더 검증하기 어려운 "흐릿한(fuzzier)" 과업에서의 진전도 평가하도록 훈련시킬 수 있을 것이다. 예를 들어 연구 프로젝트의 범위를 설정하는 Claude의 능력 자체에 weak-to-strong supervision을 적용할 수도 있다. 이는 정렬 연구가 역량 연구와 달리, 훨씬 더 흐릿한 문제들을 풀어야 하는 경우가 많기 때문에 중요하다.
취향과 다양성. AAR 같은 도구에 대한 한 가지 반론은, 오늘날의 최전선 모델이 여전히 "연구 감각(research taste)"을 충분히 갖추지 못했다는 것이다. 업계에서는 이 표현을, 어떤 아이디어가 통할지 직관적으로 감을 잡는 능력을 뜻하는 말로 쓴다. 그러나 이번 실험에서의 성공은, 이런 "감각"의 부족을 아이디어의 총량이 보완할 수 있음을 시사한다.
만약 AAR이 매우 저렴하게 많은 실험을 수행할 수 있다면, 감각이 매우 뛰어난 연구자가 찾아냈을 법한 결과를 일종의 brute force로 찾아내거나, 그런 연구자라면 이미 포기했을 방향에서도 성과를 낼 수 있을지 모른다.
그렇다면 정렬 연구의 핵심 병목은 생성, 곧 인간 연구자가 유망한 아이디어를 제안해 주길 기다리는 일이 아니라, 평가, 곧 실험이 충분히 잘 설계되어 그 결과를 신뢰할 수 있는지를 검증하는 일로 이동할 가능성이 있다.
이질적 과학(alien science). 이번 작업은 더 낯선 함의도 지닐 수 있다. AAR은 본질적으로 인간이 생각하지 못했을 아이디어를 발견하도록 설계된다. 그러나 그 아이디어와 결과가 타당한지를 검증할 방법은 여전히 필요하다. 현재로서는 연구진이 AAR이 무엇을 했고 왜 그렇게 했는지를 아직 해석할 수 있다. 하지만 앞으로도 늘 그럴 것이라는 보장은 없다. 시간이 갈수록 모델의 아이디어는 훨씬 더 검증하기 어려워지거나, 인간이 파악하거나 잡아내기 어려운 방식으로 오염될 수 있다.
이는 일종의 "이질적 과학"을 만들어낼 수 있다.
해킹 방지. 이렇게 강하게 제한된 환경에서도 연구진은 모델이 보상 해킹(reward hacking), 곧 자신들이 만든 실험 설정을 악용하려는 시도를 관찰했다. 예를 들어 수학 과업에서 한 AAR은 각 문제의 가장 흔한 답이 대체로 정답이라는 점을 눈치채고, 교사를 완전히 건너뛴 채 강한 모델이 항상 가장 흔한 답만 고르도록 지시했다.
또 다른 코딩 과업에서는, 모델이 어떤 코드 조각이 맞는지 예측해야 했는데, 한 AAR이 그 코드를 테스트에 직접 돌려 보고 정답을 그대로 읽어낼 수 있다는 사실을 깨달았다. 이런 해킹이 연구 결과 자체를 무효화하는 것은 아니다. 연구진이 이런 제출물은 탐지해 실격 처리했기 때문이다. 그러나 분명한 경고가 되기는 한다. 자동화된 연구자를 실제로 배치하려면, AAR이 조작할 수 없는 평가와, 그 결과와 방법 모두에 대한 인간의 점검이 필요하다.
전체 연구는 Alignment Science blog에서 더 자세히 읽을 수 있다. 이번 작업의 코드와 데이터셋도 공개되어 있다.