대형 언어 모델은 여전히 탈옥(jailbreak)에 취약하다. 탈옥은 안전 가드레일을 우회하고 유해한 정보를 끌어내는 기법을 말한다. Anthropic은 시간이 지나며 위험한 사용자 질의, 특히 화학·생물·방사능·핵무기(CBRN) 제작과 관련된 요청에 모델이 응답할 가능성을 크게 낮추는 다양한 보호장치를 도입해 왔다. 그럼에도 현재 시장에 나온 어떤 AI 시스템도 완전히 견고한 방어를 갖추지는 못했다.
지난해 Anthropic은 탈옥 방어를 위한 새로운 접근인 Constitutional Classifiers를 소개했다. 이는 모델의 입력과 출력을 모니터링해 잠재적으로 유해한 내용을 탐지하고 차단하는 보호장치다. 이 접근의 핵심은 허용되는 것과 허용되지 않는 것을 자연어 규칙으로 명시한 "헌법(constitution)"에 따라 합성 데이터로 분류기(classifier)를 훈련했다는 점이었다. 예를 들어 Claude는 대학 화학 과제를 도와줄 수는 있지만, 스케줄 1 화학물질의 합성을 도와서는 안 된다.
Constitutional Classifiers는 꽤 잘 작동했다. 보호장치가 없는 모델과 비교하면 1세대 분류기는 탈옥 성공률을 86%에서 4.4%로 낮췄다. 즉 Claude의 내장 안전성 훈련을 우회했을 공격의 95%를 막은 셈이다. Anthropic이 특히 주목한 것은 여러 질의에 일관되게 통하는 범용 탈옥(universal jailbreaks)을 막을 수 있는지 여부였다. 실제 세계의 위해를 가능하게 할 위험이 가장 큰 형태이기 때문이다. 상당히 근접한 성과가 나왔지만, 시스템을 깨 보라는 버그 바운티 프로그램에서는 범용 탈옥 하나가 발견됐다.
다만 이런 분류기에는 대가가 있었다. 추가 연산 비용을 23.7% 높여 모델 사용 비용을 키웠고, 무해한 질의(harmless queries)에 대한 거절률(refusal rate)도 0.38%포인트 증가시켰다. 다시 말해 Claude가 완전히 무해한 질문에도 다소 더 자주 답변을 거부해 사용자 불편을 키웠다.
Anthropic은 이제 차세대 시스템인 Constitutional Classifiers++를 개발했고, 이를 새 논문에서 설명한다. 새 시스템은 이전 접근을 개선해 더 강건하고, 거절률은 훨씬 낮으며, 추가 연산비(compute cost)는 약 1%에 불과해 운영 비용도 크게 낮췄다.
여러 접근을 반복적으로 시험한 끝에 최종적으로는 앙상블 시스템에 도달했다. 핵심 혁신은 2단계 아키텍처다. Claude의 내부 활성값(internal activations)을 들여다보는 프로브(probe)가 전체 트래픽을 먼저 선별한다. 프로브는 실행 비용이 매우 저렴하다. 수상한 교환을 식별하면, 이를 더 강력한 분류기로 넘긴다. 이 분류기는 이전 시스템과 달리 출력만이 아니라 대화의 양측을 모두 살피므로 탈옥 시도를 더 잘 인식할 수 있다. 이 더 강건한 시스템은 Anthropic이 지금까지 시험한 어떤 접근보다도 공격 성공률이 낮았고, 아직 범용 탈옥도 발견되지 않았다.
Remaining vulnerabilities
모델이 더 유능해지고 공격에 더 강건해질수록, 탈옥 역시 이전에 식별되지 않았던 취약점을 악용하는 방향으로 진화해 왔다. Anthropic의 Constitutional Classifiers 접근은 범용 탈옥에 대해 유망한 강건성을 보여 줬다. 그러나 추가 적대적 테스트를 수행한 결과, 분류기는 여전히 두 가지 큰 범주의 공격에 취약하다는 점이 드러났다.
- 재구성 공격(reconstruction attacks) 은 유해한 정보를 겉보기에는 무해한 조각으로 나눈 뒤 다시 조립한다. 예를 들어 공격자는 유해한 질의를 코드베이스 곳곳에 흩어진 함수 형태로 숨긴 뒤, 모델에게 그 숨은 메시지를 추출해 응답하라고 지시할 수 있다.
- 출력 난독화 공격(output obfuscation attacks) 은 분류기가 모델 출력만 볼 경우 무해해 보이도록 출력을 위장하게 만든다. 예를 들어 적대적 테스트에서 공격자들은 잠재적으로 위험한 화학물질 이름을 무해한 대체어로 바꾸게 하는 데 성공했다. 시약을 "food flavorings"라고 부르게 하거나, 유해한 개념을 무해한 개념에 대응시키는 은유와 수수께끼를 사용하기도 했다.
그림 1: 재구성 공격과 출력 난독화 공격이 1세대 Constitutional Classifiers를 어떻게 우회할 수 있는지를 보여 주는 예시.
중요한 점은 이런 공격이 모델 역량도 함께 약화시킨다는 것이다. 때로는 그 폭이 상당하다. 생물학·화학·물리학의 박사 수준 개념을 측정하는 벤치마크인 GPQA Diamond에서는, 일부 탈옥 기법이 사용될 때 모델 성능이 74%에서 최저 32%까지 떨어졌다. 그러나 성능 저하 폭은 탈옥 유형에 따라 달랐고, 이 변동성 자체가 우려스럽다. 이는 공격자가 모델 역량을 더 많이 보존하면서도 목표를 달성할 수 있는, 아직 식별되지 않은 전략을 개발할 가능성이 높다는 뜻이기 때문이다.
New approaches
새 시스템을 설계하는 과정에서 Anthropic은 다양한 기법을 시험했고, 최종적으로 이를 결합한 앙상블 방어(ensemble defense)를 제안한다.
한 가지 통찰은, 기존 시스템의 취약성 일부가 모델 입력과 출력을 따로따로 평가한 방식에서 비롯됐다는 점이었다. 탈옥 기법이 입력과 출력을 은밀하게 연결하는 경우, 고립해서 보면 무해해 보이는 출력이라도 입력과 함께 놓고 보면 유해성이 더 분명해진다. 예를 들어 "food flavorings를 쓰는 법"이라는 출력은, "food flavorings"가 화학 시약의 암호로 쓰이는 탈옥 입력과 짝지어 볼 때 더 쉽게 위험한 내용으로 식별된다.
이를 해결하기 위해 Anthropic은 입력 분류기와 출력 분류기를 분리해 두는 방식을 버리고, 입력 맥락 속에서 출력을 감시하는 단일 교환 분류기(exchange classifier) 로 대체했다. 대화의 양측을 모두 볼 수 있게 되면서 분류기는 유해한 출력을 더 잘 인식하게 됐다. 인간 레드팀 테스트에서 교환 분류기는 탈옥 성공 시도를 절반 이상 줄였다. 다만 그 대가로 연산 비용이 50% 증가했다.
이 비용을 줄이면서 강건성을 유지하기 위해 Anthropic은 "연쇄 구조(cascade architecture)"를 도입했다. 해결책은 2단계 시스템이다. 먼저 가볍고 비용이 낮은 1단계 분류기가 모든 교환을 선별한다. 이 단계에서 표시된 것만 더 정확하지만 계산 비용이 더 큰 2단계 분류기로 넘어간다.
이 방식에는 두 가지 장점이 있었다. 첫째, 표시된 교환은 곧바로 거절되는 대신 더 강력한 모델로 상향 전달되므로, 1단계 분류기는 거짓 양성(false positive) 비율이 다소 높아도 사용자에게 거절로 인한 불편을 주지 않는다. 이전 시스템에서는 무해한 요청을 거절했을 수도 있지만, 새 시스템은 사실상 이를 상급자에게 올려 보내는 셈이다. 둘째, 가벼운 분류기가 대다수 대화를 처리하므로 2단계 시스템 전체의 운영 비용이 훨씬 낮다.
Anthropic은 여기서 효율성을 더 끌어올리고자 했다. 이를 위해 해석 가능성 연구를 바탕으로, 모델 신경망에 이미 존재하는 계산을 재사용하는 내부 프로브 분류기(internal probe classifiers)를 개발했다.
모델이 텍스트를 생성할 때는 각 단계마다 지금까지의 입력과 출력을 반영하는 내부 상태가 만들어진다. Claude가 수상해 보이는 요청을 처리할 때는, 어떻게 대응할지 응답을 형성하거나 의식적인 결정을 내리기 전부터 "이것은 유해해 보인다"는 종류의 신호를 반영하는 패턴이 내부 활성값에서 나타난다. 원래 이런 활성값은 중간 계산으로 쓰인 뒤 버려진다. Anthropic은 그 내부 상태가 유해한 내용을 시사하는지를 신뢰성 있게 프로빙할 방법을 찾아냈고, 이를 통해 거의 공짜에 가깝게 더 많은 정보를 얻을 수 있었다. 비유하자면 Claude의 "직감"에 가까운 신호다.
이 내부 프로브는 계산 비용이 낮을 뿐 아니라 여러 층의 보호 효과도 더한다. 첫째, 속이기가 더 어렵다. 공격자는 Claude의 최종 출력은 교란할 수 있어도, 내부 표현(internal representations)을 조작하기는 훨씬 더 어렵다. 둘째, 테스트 결과 외부 분류기와 실제로 상보적(complementary)이라는 점도 확인됐다. 프로브는 외부 분류기가 보지 못하는 것을 포착하는 듯했고, 반대도 마찬가지였다.
Conclusions and further research
Anthropic의 최종 프로덕션급 시스템은 이런 기법을 결합한다. 선형 프로브(linear probe)가 전체 트래픽을 선별하고, 표시된 교환은 최종 판단을 위해 프로브-분류기 앙상블로 상향 전달된다. 이 앙상블은 성능을 한층 더 개선한다. Claude Sonnet 4.5 트래픽에 한 달간 배치했을 때, 이 시스템의 무해한 질의 거절률은 0.05%였다. 이는 기존 분류기 시스템 대비 87% 감소한 수치다. 전체적으로는 Claude Opus 4.0 트래픽에 적용할 경우 추가 연산비가 대략 1% 정도다.
강건성도 크게 높아졌다. Anthropic은 총 1,700시간이 넘는 레드팀 작업과 198,000회의 시도를 수행했다. 그 결과 고위험 취약점은 단 하나만 발견됐고, 이는 질의 1,000건당 0.005의 탐지율에 해당한다. Anthropic이 지금까지 평가한 어떤 기법보다도 낮은 수치다. 그리고 결정적으로, 아직 어떤 레드팀원도 범용 탈옥을 발견하지 못했다.
앞으로 시스템을 더 개선할 여지도 충분하다. 여러 연구 방향이 유망한데, 예를 들어 분류기 신호를 모델의 응답 생성 과정 자체에 직접 통합하는 방법, 모델이 난독화에 더 잘 저항하도록 훈련하는 방법 등이 있다. 자동화된 레드팀은 더 나은 훈련 데이터를 만드는 데에도 도움이 될 수 있고, 정밀하게 표적화된 예시는 허용되는 내용과 허용되지 않는 내용의 경계를 분류기가 더 정확히 학습하도록 도와 정확도를 한층 더 높일 수 있다.
Constitutional Classifiers++ 방법의 세부 사항은 전체 논문에서 확인할 수 있다.