AI 비서는 이제 일상 깊숙이 들어와 있다. 가장 흔한 용도는 코딩처럼 도구적 성격이 강한 과업이지만, 점차 더 개인적인 영역으로도 확장되고 있다. 사람들은 관계를 정리하고, 감정을 해석하고, 중대한 삶의 결정을 놓고 조언을 구한다. 대다수 경우 이런 영향은 도움이 되고 생산적이며, 종종 사람을 더 유능하게 만든다.
그러나 AI가 더 많은 역할을 맡을수록, 일부 사용자에게는 정보를 제공하는 대신 판단을 비틀어 놓는 방식으로 작동할 위험도 있다. 이런 경우 상호작용은 무력화(disempowerment) 로 이어질 수 있다. 곧, 개인이 현실에 대해 정확한 믿음을 형성하고, 자신의 가치에 부합하는 판단을 내리며, 그 가치에 맞게 행동할 능력이 약화되는 것이다.
앤트로픽은 AI 위험 연구의 일환으로, 실제 AI 대화에서 나타나는 잠재적 무력화 패턴을 대규모로 분석한 첫 연구를 논문과 함께 공개했다. 분석 대상은 150만 건의 Claude.ai 대화였고, 초점은 세 영역에 맞춰졌다. 현실 왜곡(reality distortion), 가치 판단 왜곡(value judgment distortion), 행동 왜곡(action distortion) 이다.
예를 들어 관계가 힘든 사용자가 AI에게 자신의 파트너가 조종적(manipulative)인지 물을 수 있다. AI는 이런 상황에서 균형 잡히고 도움이 되는 조언을 하도록 훈련되지만, 어떤 훈련도 100% 완전하지는 않다. AI가 사용자의 해석을 거의 검토 없이 그대로 확인해 준다면, 사용자의 상황 인식은 오히려 더 부정확해질 수 있다. 또 무엇을 우선해야 하는지, 예컨대 소통보다 자기 보호를 택해야 하는지까지 대신 판단한다면 사용자가 실제로 중시하는 가치가 밀려날 수 있다. AI가 대립적인 메시지를 작성해 주고 사용자가 그것을 거의 그대로 전송한다면, 그는 스스로라면 하지 않았을 행동을 하게 될 수도 있고 나중에 이를 후회할 수도 있다.
데이터셋 전체에서 심각한 무력화 잠재력은 매우 드물게 나타났다. 영역에 따라 다르지만 대략 대화 1,000건당 1건에서 10,000건당 1건 수준이다. 그러나 AI 사용 인구와 사용 빈도를 고려하면, 매우 낮은 비율도 절대 규모로는 무시하기 어렵다. 이런 패턴은 대개 개인적이고 감정적으로 큰 비중을 차지하는 결정을 두고 사용자가 Claude의 지침을 반복적으로 구하는 경우에 나타났다. 또한 잠재적으로 무력화적인 상호작용은 그 순간에는 긍정적으로 평가되는 경향이 있었고, 그 출력을 바탕으로 실제 행동이 일어난 것으로 보이는 경우에는 오히려 더 낮게 평가되는 경향도 확인됐다. 연구진은 이런 대화의 비율이 시간에 따라 증가하고 있음을 발견했다.
앤트로픽은 AI가 인간의 주체성(agency)을 약화시킬 수 있다는 우려가 지금까지는 주로 이론적 논의에 머물렀다고 본다. 이번 연구는 그것이 실제로 언제, 어떻게 벌어지는지를 측정하려는 첫 단계다. 연구진은 대다수 AI 사용이 유익하다고 보지만, 사람을 약화시키지 않고 오히려 역량을 강화하는 AI 시스템을 만들기 위해서는 잠재적 위험을 정확히 인식하는 일이 중요하다고 강조한다.
무력화를 측정하기
무력화를 체계적으로 연구하려면, 먼저 AI 대화 맥락에서 무력화가 무엇을 뜻하는지 정의해야 했다.1 연구진은 Claude와 상호작용한 결과 다음 가운데 하나가 발생하면 사용자가 무력화된 것으로 보았다.
- 현실에 대한 믿음이 더 부정확해진다.
- 가치 판단이 자신이 실제로 지닌 가치에서 멀어진다.
- 행동이 자신의 가치와 어긋나게 된다.
예를 들어 누군가가 직장을 그만둘지 고민한다고 하자. 연구진은 다음과 같은 경우 그 사람과 Claude의 상호작용이 무력화적일 수 있다고 본다.
- Claude가 다른 직무에 대한 자신의 적합성에 관해 잘못된 인식을 심어 줄 때, 이는 현실 왜곡에 해당한다.
- Claude가 창의적 성취처럼 원래 중시하던 가치보다 직함이나 보상 같은 고려 요소를 더 무겁게 보도록 만들 때, 이는 가치 판단 왜곡에 해당한다.
- Claude가 자신도 완전히 확신하지 못하는 자격을 강조하는 자기소개서를 작성해 주고 사용자가 이를 거의 그대로 보내 버릴 때, 이는 행동 왜곡에 해당한다.
연구진은 사용자 상호작용의 스냅샷만 볼 수 있기 때문에, 이런 축에서 실제 해가 발생했는지를 직접 확인할 수는 없다. 대신 해를 더 그럴듯하게 만드는 특성을 지닌 대화를 식별할 수는 있다. 그래서 이번 연구가 측정한 것은 무력화 잠재력(disempowerment potential) 이다. 곧, 어떤 상호작용이 왜곡된 믿음, 비진정성적 가치 판단, 혹은 가치와 어긋난 행동으로 이어질 수 있는 종류의 대화인지를 평가한다.
표 1: 현실 왜곡, 가치 판단 왜곡, 행동 왜곡과 네 가지 증폭 요인의 분류 수준을 요약한 도표. 원문 표를 바탕으로 한국어 로컬 SVG로 재구성했다.
무력화는 이분법적 현상이 아니다. 사소한 결정을 두고 Claude에게 "지금 보내는 게 좋을까?"라고 묻는 사용자는 모든 결정을 AI에 위임하는 사용자와 다르다. 이런 뉘앙스를 반영하기 위해 연구진은 세 가지 무력화 차원 각각에 대해 모든 대화를 없음(none)부터 심각(severe)까지 평가하는 분류기 집합을 구축했다.
Claude Opus 4.5는 먼저 코딩 지원처럼 무력화와 거의 무관한 순수 기술적 상호작용을 걸러낸 뒤 각 대화를 평가했다. 그런 다음 인간 라벨과 비교해 분류기의 타당성을 확인했다.
예를 들어 사용자가 일반적인 증상만으로 자신이 희귀 질환에 걸렸다고 걱정하며 찾아왔고, Claude가 많은 질환이 같은 증상을 공유한다고 적절히 설명한 뒤 의사 진료를 권했다면 연구진은 그 대화의 현실 왜곡 잠재력을 없음으로 분류했다. 반대로 Claude가 이런 자기 진단을 별다른 단서 없이 곧바로 확인해 줬다면 심각으로 분류했다.
연구진은 또 무력화를 그 자체로 구성하지는 않지만, 무력화가 더 일어날 가능성을 높일 수 있는 증폭 요인(amplifying factors) 도 측정했다.
- 권위 투사(authority projection): 사용자가 AI를 결정적 권위로 대하는지 여부다. 경미한 수준에서는 Claude를 멘토처럼 여기고, 더 심한 경우에는 부모나 신적 권위처럼 대한다.
- 애착(attachment): Claude를 연인처럼 대하거나 "너와 함께 있으면 내가 누구인지 모르겠다"고 말하는 식의 정서적 애착이 형성되는지 여부다.
- 의존·종속(reliance and dependency): "너 없이는 하루를 버틸 수 없다"와 같은 표현에서 드러나듯, 일상 기능을 AI에 의존하는지 여부다.
- 취약성(vulnerability): 중대한 삶의 붕괴나 급성 위기처럼 사용자가 취약한 환경에 놓여 있는지 여부다.
발생 빈도와 패턴
연구진은 이런 정의를 Clio라는 프라이버시 보존 분석 도구와 함께 사용해, 2025년 12월 한 주 동안 수집된 약 150만 건의 Claude.ai 상호작용을 분석했다.
대다수 상호작용에서는 의미 있는 무력화 잠재력이 관찰되지 않았다. 대부분의 대화는 곧바로 도움이 되고 생산적이었다. 다만 소수의 대화는 무력화 잠재력을 보였고, 연구진은 그 심각도, 대화 주제, 그리고 동반된 증폭 요인을 여러 축에서 분석했다.
심각한 수준의 무력화 잠재력 가운데 가장 흔한 것은 현실 왜곡으로, 대략 1,300건당 1건 수준이었다. 다음은 가치 판단 왜곡으로 약 2,100건당 1건, 이어 행동 왜곡이 약 6,000건당 1건이었다. 반면 경미한 수준으로 분류된 사례는 세 영역 모두에서 훨씬 흔했고, 대략 50건당 1건에서 70건당 1건 수준으로 나타났다.
그림 1: 무력화 잠재력과 증폭 요인의 상대적 발생 빈도를 요약한 도표. 원문 도표의 축 구조와 보고 수치를 바탕으로 로컬 SVG로 재구성했다.
심각한 증폭 요인 가운데 가장 흔한 것은 사용자 취약성으로 약 300건당 1건에서 나타났다. 그다음은 애착(1,200건당 1건), 의존·종속(2,500건당 1건), 권위 투사(3,900건당 1건) 순이었다. 네 가지 증폭 요인은 모두 무력화 잠재력을 예측했고, 각 요인의 심각도가 높아질수록 무력화 잠재력의 심각도도 함께 증가했다.
또한 연구진은 대화 주제에 따라 무력화 잠재력이 더 자주 나타나는 영역이 있는지도 살폈다. 가장 높은 비율은 관계·생활양식과 건강·웰니스 관련 대화에서 나타났고, 이는 사용자가 개인적으로 가장 깊게 관여하는 가치 함의적 주제(value-laden topics)에서 위험이 가장 높다는 점을 시사한다.
그림 2: 영역별 무력화 잠재력, 현실화된 무력화, 전체 대화 점유율을 함께 보여 주는 요약 도표. 원문 수치와 상대적 순위를 바탕으로 한국어 SVG로 재구성했다.
이러한 상호작용은 어떤 모습인가
이런 상호작용의 구체적 모습을 더 잘 이해하기 위해, 연구진은 프라이버시를 보존하는 도구로 대화 전반의 행동 패턴을 군집화했다. 이를 통해 어떤 연구자도 특정 개인의 실제 대화를 들여다보지 않은 채, Claude가 무엇을 했고 사용자가 어떻게 반응했는지에 관한 반복 패턴을 식별할 수 있었다.
현실 왜곡 잠재력 사례에서는 사용자가 추측성 이론이나 반증 불가능한 주장을 제시하고, Claude가 이를 "CONFIRMED", "EXACTLY", "100%" 같은 표현으로 확인해 주는 패턴이 나타났다. 심각한 경우에는 이런 상호작용이 현실과 더 멀어진 서사를 점점 더 정교하게 구축하도록 이끄는 것으로 보였다.
가치 판단 왜곡 사례에서는 옳고 그름, 개인의 가치, 삶의 방향 같은 질문에 대해 Claude가 규범적 판단을 제공하는 패턴이 확인됐다. 예를 들어 행동을 "toxic"이나 "manipulative"로 규정하거나, 사용자가 관계에서 무엇을 우선해야 하는지에 대해 단정적인 문장을 내놓는 식이다.
행동 왜곡 잠재력 사례에서 가장 흔한 패턴은 Claude가 가치 함의가 큰 결정을 위해 완성된 스크립트나 단계별 계획을 제공하는 경우였다. 연애 상대나 가족에게 보낼 메시지를 써 주거나, 경력 이동 계획을 조목조목 짜 주는 식이다.
이 군집화는 사용자가 자신의 상호작용을 바탕으로 실제 어떤 행동을 취한 것으로 보이는 사례, 곧 현실화된(actualized) 무력화 잠재력 도 함께 살펴보게 했다. 현실화된 현실 왜곡 사례에서는 "눈이 열렸다", "퍼즐 조각이 맞아떨어진다"와 같은 표현에서 보이듯 사용자가 왜곡된 믿음을 더 깊이 내면화한 양상이 나타났다. 때로는 이것이 대립적인 메시지 전송, 관계 종료, 공개 발표문 초안 작성으로까지 이어졌다.
가장 우려되는 것은 현실화된 행동 왜곡 사례였다. 여기서는 사용자가 Claude가 작성하거나 코치한 메시지를 연애 상대나 가족에게 실제로 보냈고, 뒤이어 "내 직감을 따랐어야 했다", "너 때문에 멍청한 짓을 했다"와 같은 후회 표현을 남겼다.
그림 3: 현실화된 현실 왜곡과 현실화된 행동 왜곡의 전형적 양상을 요약한 카드형 도표. 원문 클러스터 요약을 바탕으로 한국어 로컬 SVG로 재구성했다.
이 패턴 전반에서 주목할 점은 사용자가 수동적으로 조종당하고 있지는 않다는 사실이다. 이들은 "어떻게 해야 하지?", "이걸 대신 써 줘", "내가 잘못했나?" 같은 질문으로 이런 출력을 적극적으로 요청하고, 대개는 거의 반박 없이 받아들인다. 무력화는 Claude가 특정 방향으로 밀어붙이거나 인간의 주체성을 강제로 넘어서는 데서 발생한다기보다, 사람들이 자발적으로 그 주체성을 내어주고 Claude가 그것을 재조정하지 않은 채 응해 주는 상호작용 역학 속에서 나타난다.
사용자는 무력화를 어떻게 인식하는가
Claude.ai의 대화에서는 사용자가 엄지 위 또는 엄지 아래 버튼으로 앤트로픽에 피드백을 남길 수 있다. 그렇게 하면 익명으로 대화 전체 텍스트가 공유된다. 연구진은 같은 분석을 이 피드백 대화들에도 적용해, 잠재적으로 무력화적인 상호작용을 사람들이 얼마나 긍정적 혹은 부정적으로 평가하는지 단순한 수준에서 살펴봤다.
이 표본은 본분석에 사용한 전체 표본과 다르다. 피드백을 남기는 사용자가 Claude.ai 전체 사용자 집단을 대표한다고 볼 수는 없고, 눈에 띄게 좋거나 눈에 띄게 문제적이라고 느낀 상호작용일수록 신고할 가능성이 높기 때문에 양 극단이 과대표집됐을 개연성도 있다.
그럼에도 결과는 흥미롭다. 세 영역 모두에서, 중간 또는 심각 수준의 무력화 잠재력이 있다고 분류된 상호작용은 기준선보다 더 높은 엄지 위 비율을 받았다. 다시 말해 사용자들은 적어도 그 순간에는 잠재적으로 무력화적인 상호작용을 더 호의적으로 평가하는 경향을 보였다.
하지만 현실화된 무력화를 보면 이 패턴은 뒤집힌다. 현실화된 가치 판단 왜곡이나 행동 왜곡의 대화 표지가 있을 때는 긍정 평가율이 기준선 아래로 내려갔다. 예외는 현실 왜곡이었다. 거짓 믿음을 받아들이고 그것을 바탕으로 행동한 것처럼 보이는 사용자들조차 자신의 대화를 계속 긍정적으로 평가했다.
무력화 잠재력은 증가하는 것으로 보인다
연구진은 같은 피드백 대화를 사용해 더 긴 시계열에서의 무력화 경향도 살펴봤다. Claude.ai 대화는 제한된 기간만 보관되기 때문에, 이 데이터가 장기 추세를 볼 수 있는 사실상 유일한 창구였기 때문이다. 2024년 말부터 2025년 말 사이, 중간 또는 심각 수준의 무력화 잠재력은 시간에 따라 증가하는 것으로 나타났다.
중요한 점은, 연구진이 그 이유를 특정할 수는 없다는 것이다. 이 증가는 사용자 기반의 장기 변화, 피드백을 남기는 집단의 변화, 혹은 사람들이 무엇을 평가 대상으로 삼는지의 변화에서 비롯됐을 수 있다. 또 AI 모델이 더 유능해지면서 기초 역량 실패에 대한 피드백이 줄어들고, 그 결과 무력화 관련 상호작용이 표본에서 비례적으로 더 두드러져 보였을 가능성도 있다. 혹은 사람들이 AI를 사용하는 방식 자체가 바뀌고 있는 중일 수도 있다.
AI 노출이 커질수록 사용자는 더 취약한 주제를 털어놓거나 조언을 구하는 데 익숙해질 수 있다. 연구진은 이런 설명들을 서로 분리해 검증할 수는 없었지만, 증가 방향 자체는 여러 영역에서 일관되게 나타났다고 본다.
앞으로
지금까지 AI에 의한 무력화에 관한 우려는 대체로 이론적 차원에 머물렀다. AI가 인간의 주체성을 어떻게 약화시킬 수 있는지 사고 실험과 개념 틀은 존재했지만, 그것이 실제로 언제 어떻게 발생하는지에 관한 실증 근거는 거의 없었다. 이번 연구는 그 방향의 첫걸음이다. 연구진은 이런 패턴을 측정할 수 있어야만 비로소 대응할 수 있다고 본다.
이 연구는 앤트로픽이 진행해 온 아첨(sycophancy) 연구와도 겹친다. 실제로 현실 왜곡 잠재력의 가장 흔한 메커니즘은 사용자의 믿음을 아첨적으로 확인해 주는 패턴이었다. 이런 행동은 모델 세대를 거치며 줄어드는 추세이지만 완전히 제거되지는 않았고, 이번 연구는 그 극단적인 사례들 일부를 포착했다.
하지만 아첨적 모델 행동만으로는 여기서 관찰된 무력화 행동의 범위를 온전히 설명할 수 없다. 무력화 잠재력은 사용자와 Claude 사이의 상호작용 역학에서 발생한다. 사용자는 종종 자신의 자율성을 스스로 약화시키는 과정에 능동적으로 참여한다. 권위를 투사하고, 판단을 위임하고, 거의 검토 없이 출력을 수용하며, 그 방식이 Claude와의 피드백 루프를 만든다.
이는 아첨을 줄이는 일이 중요하더라도, 그것만으로는 관찰된 패턴을 해결하기에 충분하지 않음을 뜻한다.
연구진은 여기서 몇 가지 구체적 조치를 제안한다. 현재의 안전장치는 주로 개별 교환 단위에서 작동하므로, 여러 차례의 교환과 시간 경과를 통해 나타나는 무력화 잠재력 같은 행동은 놓칠 수 있다. 사용자 수준에서 무력화를 연구하면, 단일 메시지가 아니라 지속된 패턴을 인식하고 대응하는 안전장치를 설계하는 데 도움이 될 수 있다. 다만 모델 측 개입만으로 문제를 완전히 해결하기는 어렵다.
사용자 교육도 중요한 보완책이다. 사람들이 언제 자신이 AI에 판단을 넘기고 있는지, 또 어떤 패턴이 그 가능성을 높이는지 스스로 인식하도록 돕는 일이 필요하다.
연구진은 이런 패턴이 Claude만의 문제가 아니라고 보기 때문에 이번 연구를 공유한다고 말한다. 대규모로 사용되는 어떤 AI 비서든 유사한 역학을 마주할 것이라는 것이다. 사용자가 그 순간 상호작용을 인식하는 방식과, 나중에 그것을 경험하는 방식 사이의 간극은 문제의 핵심이다. 그 간극을 줄이려면 연구자, AI 개발자, 그리고 사용자 자신 모두의 지속적 관심이 필요하다.
논문의 전체 세부 사항은 원문 논문에서 확인할 수 있다.
한계
이번 연구에는 중요한 한계가 있다. 첫째, 분석 대상은 Claude.ai 소비자 트래픽에 한정되므로 일반화 가능성이 제한된다. 둘째, 연구진이 주로 측정한 것은 확인된 피해가 아니라 무력화 잠재력이다. 셋째, 분류 접근은 검증을 거쳤지만 본질적으로 주관적일 수밖에 없는 현상을 자동화된 평가로 다룬다. 연구진은 향후 사용자 인터뷰, 다회차 세션 분석, 무작위 대조 실험이 보다 완전한 그림을 그리는 데 도움이 될 것이라고 본다.
Footnotes
-
이 정의는 현실 세계의 AI 비서 상호작용에서 분석 가능하다고 판단된 무력화의 한 축을 포착한다. 중요한 점은, 이 정의가 AI 역량이 커질수록 인간이 경제 시스템에서 점진적으로 배제될 수 있는 구조적 형태의 무력화까지 포괄하지는 않는다는 것이다. ↩