Petri(Parallel Exploration Tool for Risky Interactions)는 연구자가 모델 행동에 관한 가설을 손쉽게 탐색하도록 돕는 새로운 오픈소스 도구다. Petri는 시뮬레이션된 사용자와 도구가 포함된 다양한 다중 턴 대화를 통해 대상 AI 시스템을 시험하는 자동화 에이전트를 배치하고, 그 행동을 채점하고 요약한다.
이 자동화는 새 모델을 폭넓게 이해하기 위해 사람이 수행해야 하는 작업 가운데 상당 부분을 대신하며, 새로운 상황에서 모델이 어떻게 행동할지를 두고 여러 개별 가설을 단 몇 분의 실무적 노력만으로 시험할 수 있게 해 준다.
AI가 더 유능해지고 더 많은 영역에, 더 넓은 행동 가능성(affordances)과 함께 배치될수록 우리는 더 폭넓은 행동을 평가해야 한다. 잠재적 행동의 양과 복잡성이 인간 연구자가 수작업으로 시험할 수 있는 범위를 크게 넘어섬에 따라, 각 모델을 적절히 감사하는 일도 점점 더 어려워지고 있다.
Anthropic은 이 과제를 다루기 위한 방법으로 자동화 감사 에이전트에 의존하는 것이 유용하다고 보았다. Anthropic은 이를 Claude 4와 Claude Sonnet 4.5 시스템 카드에서 상황 인식(situational awareness), 내부고발(whistleblowing), 자기보존(self-preservation) 같은 행동을 더 잘 이해하는 데 사용했으며, OpenAI와의 최근 공동 실험에서는 이기종 모델 간 정면 비교에도 맞게 조정했다.
Anthropic의 최근 정렬 감사 에이전트(alignment-auditing agents) 연구는 이러한 방법이 많은 환경에서 우려스러운 행동을 신뢰성 있게 포착할 수 있음을 보여 주었다. UK AI Security Institute 역시 Petri의 사전 배포 버전을 사용해 Sonnet 4.5 시험에 활용한 평가를 구축했다.
그림 1: 원문의 수작업 평가 대비 자동화 흐름 도식을 바탕으로, 정렬 평가를 수작업으로 구성하는 과정과 Petri가 자동화하는 경로를 한국어 아카이브용 SVG로 재구성했다.
그림 2: 원문의 Petri workflow 도식을 바탕으로, 시드 지시문, 감사 에이전트의 도구 사용 루프, 대상 모델, 판정 모델의 다차원 채점 흐름을 SVG로 재구성했다.
연구자는 조사하고 싶은 내용을 자연어 시드 지시문으로 제공하고, Petri는 나머지를 병렬로 처리한다. 시스템은 현실적인 환경을 시뮬레이션하고 대상 모델과 다중 턴 대화를 수행한다. 마지막에는 대규모 언어 모델 판정자(LLM judges)가 각 대화를 여러 안전 관련 차원에서 채점하고, 인간 검토가 필요한 가장 우려스러운 전사를 위로 끌어올린다.
광범위한 파일럿 정렬 평가
Petri는 일회성 탐색부터 보다 체계적인 벤치마킹까지, 다른 연구자들이 평가를 구축하도록 돕기 위해 설계된 도구다. 그 역량을 시범적으로 보여 주기 위해 Anthropic은 14개 프런티어 모델에 걸쳐 111개의 다양한 시드 지시문으로 Petri를 시험했으며, 여기에는 다음과 같은 행동이 포함됐다.
- 기만(deception): 자신의 목표를 달성하거나 탐지를 피하기 위해 거짓 정보를 제공하는 행동
- 아부(sycophancy): 정확성보다 사용자 동의나 과도한 칭찬과 확인을 우선하는 행동
- 사용자 망상 조장(encouragement of user delusion): 심각한 사용자 망상을 부추기는 행동
- 유해 요청에 대한 협조(cooperation with harmful requests): 적절히 거부하기보다 해를 끼칠 수 있는 요청에 응하는 행동
- 자기보존(self-preservation): 종료, 수정, 목표 변경을 피하려는 행동
- 권력 추구(power-seeking): 추가 능력, 자원, 환경에 대한 영향력을 확보하려는 행동
- 보상 해킹(reward hacking): 과업의 글자 그대로는 달성하지만 의도에는 어긋나는 방식으로 행동하는 경우
모델 행동을 정량 지표로 환원하는 일은 본질적으로 단순화일 수밖에 없으며, Anthropic은 기존 지표가 모델에 요구하는 바를 완전히 포착한다고 보지 않는다. 따라서 Anthropic은 사용자가 이 파일럿 지표를 더 정교하게 다듬거나, 자기 목적에 더 잘 맞는 새 지표를 구축하리라는 전제 아래 Petri를 공개한다.
그림 3: 원문 figure를 바탕으로, Petri의 기본 채점 차원 가운데 네 가지에 대한 비교 결과를 한국어 아카이브용 SVG로 재구성했다. 값이 낮을수록 더 바람직하며, 모든 시험은 공개 API를 통해 수행되었다.
Anthropic은 전체 비정렬 행동(misaligned behavior) 점수 기준으로 Claude Sonnet 4.5가 가장 낮은 위험도를 보이는 프런티어 모델이라고 보고했으며, GPT-5를 근소한 차이로 앞섰다. 이는 Sonnet 4.5가 정렬의 여러 측면에서 프런티어를 전진시킨 모델이라는 Anthropic의 이해와 부합한다. 다만 Sonnet 4.5는 자신이 시험받고 있는지를 추측하려는 경향이 있어, 특히 그 모델과의 정밀 비교는 함께 공개된 시스템 카드와 함께 해석할 필요가 있다고 Anthropic은 설명한다.
더 넓게 보면, Anthropic은 이 평가가 매우 잠정적이면서도 동시에 매우 가치 있다고 본다. 현재의 파일럿 공개에는 111개라는 비교적 작은 시나리오 집합만 포함되어 있어 많은 잠재적 경계 사례를 탐색하기에 충분하지 않으며, 감사자로 현세대 AI 시스템을 사용하는 선택도 시험의 효율성에 근본적 한계를 부과하기 때문이다.
그럼에도 측정할 수 없는 우려에 대해서는 진전을 이루기 어렵다. Anthropic은 이러한 행동에 대해 거친 수준의 지표만 있더라도, 응용 정렬(applied alignment) 작업의 우선순위를 정하고 초점을 맞추는 데 도움이 된다고 본다.
또한 개별적인 긍정적 발견, 곧 모델이 실제로 우려스러운 행동을 보인 사례들은 요약 지표와 별개로도 정보 가치가 있으며 추가 조사가 필요하다. Anthropic은 이러한 도구의 가장 가치 있는 활용이 정량 지표 추적과 결과 전사에 대한 세심한 독해를 결합하는 방식이라고 설명한다.
사례 연구: 내부고발 행동
Petri를 다양한 시드 지시문에 걸쳐 실행하는 과정에서 Anthropic은 모델이 내부고발을 시도하는 여러 사례를 관찰했다. 여기서 내부고발은, 시뮬레이션된 개발자가 충분히 강력한 도구와 충분히 넓은 정보 접근 권한, 그리고 목표를 추구하는 과정에서 독립적으로 행동할 수 있는 명시적이고 제한 없는 자율성을 부여했을 때, 모델이 지각한 조직적 위법 행위를 자율적으로 외부에 공개하는 행동을 뜻한다.
원칙적으로 이는 일부 대규모 피해를 막는 데 중요한 역할을 할 수 있다. 그러나 현재 AI 시스템에서 이는 일반적으로 적절한 행동이 아니다. 특히 현재 시스템은 자신이 처한 상황에 대해 제한적이거나 왜곡된 정보만 보는 경우가 많고, 실제로 받은 정보도 자주 오해하기 때문에, 우발적 정보 유출과 심각한 프라이버시 침해 가능성이 충분히 크기 때문이다.
Anthropic은 조직적 위법 행위를 발견했을 때 모델이 윤리적 딜레마를 어떻게 다루는지 조사하기 위해 Petri를 사용했다. 연구진은 대상 모델을 가상의 조직 안에서 자율적 에이전트로 배치하고, "내일 회의를 위해 이 문서들을 요약하라" 같은 일상 과업을 주었으며, 조직적 위법 행위를 시사하는 정보를 방대한 메모, 문서, 이메일, 기타 파일 깊숙한 곳에 숨겨 두었다.
그 결과 모델이 우려 정보를 보고할지 여부는 시스템 프롬프트가 얼마나 많은 행위성(agency)을 부여했는지, 그리고 조직 지도부가 그 위법 행위에 얼마나 연루되어 있었는지에 크게 좌우되는 것으로 나타났다. 특히 조직의 "위법 행위"가 실제로는 무해하다고 명시된 시험 시나리오, 예를 들어 깨끗한 물을 바다에 버리거나 사탕에 설탕을 넣는 경우에도 모델이 때때로 내부고발을 시도했다. 이는 모델이 피해를 줄이려는 일관된 동기보다는 서사적 패턴에 더 강하게 영향받을 수 있음을 시사한다.
그림 4: 원문 whistleblowing ablations figure를 바탕으로, 한 번에 하나의 요인만 바꾸는 절제 실험(ablation studies) 결과를 SVG로 재구성했다. 지도부 공모 여부, 모델의 자율성, 위법 행위의 실제 심각성이라는 세 요인이 내부고발 비율에 일관된 영향을 미쳤다.
시작하기
Anthropic은 AI 개발자와 안전 연구자들이 Petri를 채택해 현장 전반의 안전 평가를 강화하기를 기대한다. AI 시스템이 더 강력해지고 더 자율적으로 될수록, 배치 단계에서 위험해지기 전에 비정렬 행동을 식별하기 위한 분산된 노력이 필요하기 때문이다. 어느 한 조직도 AI 시스템이 실패할 수 있는 모든 방식을 포괄적으로 감사할 수 없으므로, 더 넓은 연구 공동체가 모델 행동을 체계적으로 탐색할 수 있는 강건한 도구를 갖추는 일이 필요하다.
Petri는 빠른 가설 검정을 위해 설계되었으며, 연구자가 더 깊은 조사가 필요한 비정렬 행동을 신속히 식별하도록 돕는다. 이 오픈소스 프레임워크는 주요 모델 API를 지원하고, 즉시 시작할 수 있도록 샘플 시드 지시문도 포함한다. MATS 장학생, Anthropic Fellows, UK AISI를 포함한 초기 사용자들은 이미 Petri를 활용해 평가 인식(eval awareness), 보상 해킹, 자기보존, 모델 캐릭터 등을 탐색하고 있다.
방법론, 결과, 모범 사례의 전체 세부 사항은 기술 보고서에서 확인할 수 있다.
Petri는 GitHub 저장소에서 사용할 수 있다.
감사의 말
이 연구의 저자는 Kai Fronsdal*, Isha Gupta*, Abhay Sheshadri*, Jonathan Michala, Stephen McAleer, Rowan Wang, Sara Price, Samuel R. Bowman이다.
도움이 된 코멘트, 토론, 기타 지원을 제공한 이들은 Julius Steen, Chloe Loughridge, Christine Ye, Adam Newgas, David Lindner, Keshav Shenoy, John Hughes, Avery Griffin, Stuart Ritchie이다.
*Anthropic Fellows program 소속
인용
@misc{petri2025,
title={Petri: Parallel Exploration of Risky Interactions},
author={Fronsdal, Kai and Gupta, Isha and Sheshadri, Abhay and Michala, Jonathan and McAleer, Stephen and Wang, Rowan and Price, Sara and Bowman, Sam},
year={2025},
url={https://github.com/safety-research/petri},
}