희소 입력 특징을 가진 합성 데이터로 학습한 작은 ReLU 네트워크인 장난감 모델을 사용해, 모델이 차원 수보다 더 많은 특징을 어떻게 그리고 언제 표현하는지 조사한다.
이 논문에서는 장난감 모델(toy models), 즉 희소 입력 특징(sparse input features)을 가진 합성 데이터로 학습한 작은 ReLU 네트워크를 사용해, 모델이 자신이 가진 차원보다 더 많은 특징을 어떻게 그리고 언제 표현하는지 조사한다. 우리는 이 현상을 중첩(superposition)이라고 부른다. 특징이 희소할 때, 중첩은 비선형 필터링(nonlinear filtering)이 필요한 "간섭(interference)"이라는 비용을 치르는 대신, 선형 모델이 수행할 수 있는 것 이상의 압축을 가능하게 한다.
앤트로픽은 Claude Sonnet 4.5 내부에 감정 개념을 나타내는 표현이 존재하며, 이 표현이 선호 형성, 협박, 보상 해킹 같은 정렬 관련 행동에 인과적으로 영향을 준다고 보고한다.
2026년 4월 2일
InterpretabilityAnthropic Fellows 연구는 Dedicated Feature Crosscoder를 통해 서로 다른 아키텍처의 모델을 비교하는 범용 diff 도구를 제안하고, 중국 공산당 정렬, 미국 예외주의, 저작권 거부 같은 모델 전용 행동 특성을 스티어링 실험으로 검증한다.
2026년 3월 13일
InterpretabilityMATS와 Anthropic Fellows 프로그램을 통해 진행된 이 연구는 여러 오픈 웨이트 언어 모델에서 `Assistant 축`이라는 지배적 페르소나 방향을 식별했고, 이 축을 따라 활성값의 이탈을 제한하면 페르소나 드리프트와 페르소나 기반 jailbreak를 줄이면서도 역량을 보존할 수 있음을 보였다.
2026년 1월 19일