사람들은 불과 1년 전만 해도 예상하기 어려웠을 속도로 AI 도구를 일상에 통합하고 있다. 그러나 채택 그 자체만으로는 이러한 도구의 영향이 무엇인지 충분히 말해 주지 못한다. 그에 못지않게 중요한 질문이 하나 더 있다. AI가 일상의 일부가 되어 가는 과정에서, 사람들은 그것을 잘 활용하는 기술까지 함께 발전시키고 있는가?
이전 Anthropic Education Report는 대학생과 교육자가 Claude를 어떻게 사용하는지 살펴봤다. 그 결과, 학생들은 보고서를 작성하고 실험 결과를 분석하는 데 Claude를 쓰며, 교육자는 수업 자료를 만들고 반복 업무를 자동화하는 데 Claude를 활용하는 것으로 나타났다. 그러나 AI를 사용하는 사람이라면 누구나 자신이 하는 일을 더 잘하게 될 가능성이 크다. Anthropic은 이 지점을 더 탐구하고, 사람들이 시간이 지나며 이 기술에 대한 AI 활용 숙련도(AI fluency) 를 어떻게 발전시키는지 이해하고자 했다.
이 보고서는 그 질문에 대한 답을 시작한다. 익명화된 대규모 대화 표본을 바탕으로, Anthropic이 AI 활용 숙련도를 나타낸다고 보는 행동 분류 체계가 존재하는지 여부를 추적했다.
최근 Economic Index와 마찬가지로, Anthropic은 AI 활용 숙련도의 가장 흔한 표현이 전면 위임이 아니라 AI를 사고 파트너로 다루는 증강적(augmentative) 사용이라는 점을 확인했다. 실제로 이러한 대화는 짧은 왕복형 채팅보다 AI 활용 숙련도 행동을 두 배 이상 더 많이 보여 준다.
다만 AI가 앱, 코드, 문서, 인터랙티브 도구 같은 산출물(artifacts) 을 만들 때에는 사용자가 그 추론을 되묻거나(-3.1퍼센트포인트), 빠진 맥락을 짚어 내는 비율(-5.2퍼센트포인트)이 낮아진다는 사실도 확인했다. 이는 최근 코딩 역량 연구에서 관찰한 관련 패턴과도 맞닿아 있다.
이러한 초기 결과는 앞으로 AI 활용 숙련도가 시간에 따라 어떻게 발전하는지를 연구하기 위한 기준선 역할을 한다.
AI 활용 숙련도 측정
AI 활용 숙련도를 계량화하기 위해 Anthropic은 Rick Dakan 교수와 Joseph Feller 교수가 Anthropic과 협력해 개발한 4D AI Fluency Framework를 사용했다. 이 틀은 안전하고 효과적인 인간-AI 협업의 사례라고 볼 수 있는 24개의 구체적 행동을 정의하는 데 도움을 준다.
이 24개 행동 가운데 11개는 사람이 Claude.ai 또는 Claude Code에서 Claude와 상호작용할 때 직접 관찰할 수 있다. 반면, AI가 작업에 관여했다는 사실을 정직하게 밝히는 행위나 AI 생성 결과물을 공유할 때의 결과를 고려하는 행위 같은 나머지 13개는 Claude.ai의 채팅 인터페이스 밖에서 일어나므로 추적하기가 훨씬 어렵다.
이처럼 관찰되지 않는 행동들은 오히려 AI 활용 숙련도의 가장 중대한 차원일 수 있으므로, Anthropic은 향후 정성적 방법을 사용해 이를 평가할 계획이라고 밝힌다.
이번 연구는 직접 관찰 가능한 11개 행동에 초점을 맞췄다. Anthropic은 개인정보 보호 방식의 분석 도구를 사용해 2026년 1월 7일 동안 Claude.ai에서 여러 차례 왕복이 있었던 대화 9,830건을 분석했다.1 그리고 각 대화에서 11개 행동의 존재 여부를 측정했다. 하나의 대화가 여러 행동의 증거를 동시에 보여 줄 수도 있다.
Anthropic은 결과가 요일별로, 그리고 표본에 포함된 여러 언어별로 일관적인지 점검해 표본의 신뢰성을 검토했고, 실제로 그러했다.2 이로써 오늘날 사람들이 AI와 어떻게 협업하는지를 보여 주는 기준선이자, 모델이 변함에 따라 그 행동이 어떻게 달라지는지를 추적하는 기반으로서 AI 활용 숙련도 지수(AI Fluency Index) 를 마련했다.
그림 1: 9,830건의 Claude.ai 대화에서 관찰된 11개 AI 활용 숙련도 행동 지표의 출현율. 원문 도표에 제시된 비율을 기준으로 로컬 SVG로 재구성했다.
결과
첫 번째 연구에서 Anthropic은 Claude 사용에서 두 가지 큰 패턴을 확인했다. 하나는 Claude와 더 긴 대화를 나누며 반복과 정교화를 수행하는 경우 AI 활용 숙련도와 강한 관련성이 나타난다는 점이고, 다른 하나는 코딩이나 기타 산출물을 만들 때 사용자의 숙련도 행동이 달라진다는 점이다.
AI 활용 숙련도는 반복과 정교화가 나타나는 대화와 강하게 연관된다
데이터에서 가장 강하게 드러나는 패턴 중 하나는 반복과 정교화(iteration and refinement) 와 다른 모든 AI 활용 숙련도 행동 사이의 관계다. 표본 대화 가운데 85.7%는 첫 응답을 그대로 받아들이고 새 작업으로 넘어가기보다, 이전 교환을 바탕으로 사용자의 작업을 더 다듬는 반복과 정교화를 보여 줬다. 아래 도표가 보여 주듯, 이러한 대화에서는 다른 숙련도 행동의 출현율도 상당히 더 높았다.
그림 2: 반복과 정교화가 있는 대화(n=8,424)와 없는 대화(n=1,406)에서 주요 행동 지표가 얼마나 자주 나타나는지 비교한 도표. 원문 그래프의 보고 수치를 바탕으로 재구성했다.
평균적으로 반복과 정교화가 있는 대화는 추가적인 숙련도 행동을 2.67개 더 보여 주며, 이는 비반복 대화의 1.33개와 비교하면 거의 두 배 수준이다. 이 차이는 Claude의 산출물을 평가하는 행동에서 특히 두드러진다. 반복과 정교화가 있는 대화는 사용자가 Claude의 추론을 문제 삼을 가능성이 5.6배 높고, 빠진 맥락을 지적할 가능성도 4배 높다.
산출물을 만들 때 사용자는 더 지시적이지만 덜 평가적이 된다
표본 대화의 12.3%는 코드, 문서, 인터랙티브 도구, 기타 결과물을 포함한 산출물을 수반했다. 이러한 대화에서 사람들은 AI와 상당히 다른 방식으로 협업했다.
구체적으로 Anthropic은 "설명(description)"과 "위임(delegation)"이라는 더 넓은 주제에 속하는 행동들의 출현율이 뚜렷하게 높아진다는 사실을 발견했다. 예를 들어 산출물이 생성되는 대화에서는 비산출물 대화와 비교해 사용자가 자신의 목표를 더 자주 명확히 하고(+14.7퍼센트포인트), 형식을 더 자주 지정하며(+14.5퍼센트포인트), 예시를 더 많이 제공하고(+13.4퍼센트포인트), 반복과 정교화를 더 많이 수행한다(+9.7퍼센트포인트). 즉, 작업의 출발점에서 AI를 더 강하게 지시한다는 뜻이다.
그러나 이런 지시성은 더 높은 수준의 평가나 분별력으로 이어지지 않는다. 오히려 그 반대다. 산출물이 만들어지는 대화에서는 사용자가 빠진 맥락을 짚어 낼 가능성(-5.2퍼센트포인트), 사실관계를 확인할 가능성(-3.7퍼센트포인트), 모델의 추론 근거를 설명해 보라고 요구할 가능성(-3.1퍼센트포인트)이 모두 더 낮았다. Anthropic의 Economic Index는, 예상할 수 있듯이, 가장 복잡한 과업일수록 Claude가 가장 어려움을 겪는다는 점을 보여 주기 때문에 이 결과는 특히 주목할 만하다.
그림 3: 산출물이 있는 대화(n=1,209)와 없는 대화(n=8,621)를 비교하면, 설명 및 위임 관련 행동은 증가하는 반면 세 가지 분별 행동은 모두 감소한다. 도표는 원문 수치를 기반으로 재구성했다.
이 패턴에는 여러 설명이 가능하다. Claude가 이미 충분히 다듬어진, 기능적으로 완성되어 보이는 결과물을 만들고 있기 때문에 사용자가 더 따져 물을 필요를 느끼지 않을 수도 있다. 결과물이 완성된 것처럼 보이면, 그대로 완성된 것으로 간주하기 쉽기 때문이다. 또는 산출물 대화가 사실 정확성보다 미학이나 기능성이 더 중요한 과업을 포함하기 때문일 수도 있다. 예를 들어 법률 분석을 작성하는 일과 UI를 설계하는 일은 같은 방식으로 평가되지 않는다.
또 다른 가능성은, 사용자가 Anthropic이 관찰할 수 없는 채널에서 산출물을 평가하고 있다는 점이다. 코드를 실행해 보거나, 다른 곳에서 앱을 테스트하거나, 초안을 동료와 공유하는 식으로 같은 초기 대화 바깥에서 검토할 수 있다는 뜻이다.
어떤 설명이 맞든, 이 패턴은 주의 깊게 볼 가치가 있다. AI 모델이 더 매끈해 보이는 산출물을 점점 더 잘 만들어 낼수록, 그러한 결과물을 직접 대화 속에서든 다른 방식으로든 비판적으로 평가하는 능력은 덜 중요해지는 것이 아니라 오히려 더 중요해질 것이다.
자신의 AI 활용 숙련도 기르기
다른 모든 기술과 마찬가지로, AI 활용 숙련도에도 정도의 차이가 있다. 대다수 사용자에게는 자신의 활용 기법을 지금보다 훨씬 더 발전시킬 여지가 있다. Anthropic은 데이터에서 포착된 패턴을 바탕으로, 많은 사용자가 개선할 수 있는 세 가지 영역을 제시한다.
- 대화에 머무르기: 반복과 정교화는 데이터에서 관찰된 모든 다른 숙련도 행동과 가장 강하게 연관된 단일 요인이다. 따라서 첫 응답을 최종본으로 여기지 말고 출발점으로 다루는 편이 좋다. 후속 질문을 하고, 미심쩍은 부분에는 이의를 제기하며, 자신이 원하는 바를 더 정밀하게 다듬어 가야 한다.
- 매끈한 결과물을 의심하기: AI 모델이 보기 좋은 결과물을 내놓을 때야말로 잠시 멈춰서 "정확한가?", "빠진 것은 없는가?", "이 추론은 견디는가?"를 물어야 한다. 데이터는 사용자가 처음에는 Claude를 더 많이 지시하면서도, 정작 결과가 매끈해질수록 비판적 검토는 덜 수행한다는 점을 보여 준다.
- 협업 조건을 미리 정하기: 전체 대화 가운데 사용자가 Claude에게 어떤 방식으로 상호작용해 주길 바라는지 명시하는 경우는 30%에 불과하다. "내 가정이 틀렸다면 반박해 달라", "답을 주기 전에 추론 과정을 단계적으로 설명해 달라", "무엇을 확신하지 못하는지 말해 달라" 같은 지시를 처음부터 제공하면, 이후 대화의 역학 자체가 달라질 수 있다.
한계
이번 연구에는 중요한 단서 조항이 따른다.
- 표본의 한계: 표본은 2026년 1월 한 주 동안 다회전 대화를 수행한 Claude.ai 사용자만을 반영한다. Anthropic은 지금이 AI 도구 확산의 비교적 이른 시점이라고 보기 때문에, 이 사용자들은 이미 AI에 익숙한 초기 채택자 쪽으로 치우쳐 있을 가능성이 높다. 따라서 이 표본은 보다 넓은 인구를 대표하는 보편적 기준이 아니라, 이 집단의 기준선을 제공하는 것으로 이해해야 한다. 또한 단일 주간 자료이므로 계절성이나 장기적 효과를 포착할 수 없고, Claude.ai에만 초점을 맞추기 때문에 다른 AI 플랫폼에서의 상호작용은 반영하지 못한다.
- 프레임워크 포착 범위의 부분성: 이번 연구는 Claude.ai 대화에서 직접 관찰 가능한 24개 행동 지표 가운데 11개만 평가했다. AI 결과물의 책임 있고 윤리적인 사용과 관련된 행동은 모두 이러한 대화 바깥에서 일어나며, 따라서 포착되지 않는다.
- 이분형 분류: 표본의 각 대화에 대해 각 행동을 "존재" 또는 "부재"로만 분류했다. 그러나 이는 부분적이거나 논쟁적인 행동 시연, 또는 서로 겹치는 신호 같은 중요한 뉘앙스를 놓칠 가능성이 크다.
- 암묵적 행동: 사용자는 Claude의 주장과 자신의 지식을 마음속으로 대조해 보는 식으로 숙련도 행동을 정신적으로 수행할 수 있지만, 이를 대화로 표현하지 않을 수 있다. 특히 산출물 관련 데이터에서 이 점이 중요해 보인다. 사용자는 대화로 드러나는 방식이 아니라 테스트와 실제 사용을 통해 Claude의 결과를 평가하고 있을 수 있다.
- 상관관계에 머무는 발견: Anthropic이 확인한 관계는 상관관계일 뿐이다. 어떤 행동이 다른 행동을 유발하는지, 아니면 두 행동이 모두 과업 복잡성이나 사용자 선호 같은 공통의 기저 요인을 반영하는지는 알 수 없다.
앞으로
이 연구는 시간이 지나며 AI 활용 숙련도가 어떻게 변하는지 평가할 수 있는 기준선을 제공한다. AI의 능력이 진화하고 채택이 확대됨에 따라, Anthropic은 사용자가 더 정교한 행동을 발전시키고 있는지, 어떤 기술이 경험과 함께 자연스럽게 나타나는지, 또 어떤 기술은 더 의도적인 개발이 필요한지를 파악하고자 한다.
향후 연구에서는 분석을 몇 가지 방향으로 확장할 계획이다. 첫째, 새로운 사용자와 숙련 사용자를 비교하는 코호트 분석(cohort analyses) 을 수행해 AI에 대한 익숙함이 숙련도 발전과 어떻게 연결되는지 이해하고자 한다. 둘째, Claude.ai 대화에서 직접 관찰할 수 없는 행동들을 평가하기 위해 정성 연구 방법을 사용할 계획이다.
셋째, 반복적 대화를 장려하면 비판적 평가가 더 늘어나는지, 혹은 이를 더 효과적으로 촉진할 다른 개입이 있는지와 같은 인과적 질문도 탐구하려 한다.
또한 Anthropic은 주로 소프트웨어 개발자가 사용하는 플랫폼인 Claude Code에서의 AI 활용 숙련도 행동도 살펴보고자 한다. 이를 준비하는 과정에서 Anthropic은 Claude Code 대화와 Claude.ai 대화 사이에 일관성이 있다는 초기 분석 결과를 얻었다고 밝힌다. 다만 이것은 아직 예비적 관찰에 불과하며, Claude Code는 사용자 기반과 기능이 크게 다르기 때문에 보다 본격적인 연구가 필요하다.
Anthropic은 AI 활용 숙련도의 성격이 앞으로 상당히 발전하고 변화할 것으로 예상한다. 이번 연구와 후속 연구를 통해 그러한 발전을 더 잘 보이게 만들고, 측정 가능하게 만들며, 실질적으로 활용 가능한 형태로 드러내는 것이 목표다.
인용
@online{swanson2026aifluency,
author = {Kristen Swanson, Drew Bent, and Zoe Ludwig and Rick Dakan and Joe Feller},
title = {Anthropic Education Report: The AI Fluency Index},
date = {2026-02-16},
year = {2026},
url = {https://www.anthropic.com/news/anthropic-education-report-the-ai-fluency-index},
}
감사의 말
Kristen Swanson이 연구를 설계하고 분석을 주도했으며 이 보고서를 집필했다. Zoe Ludwig와 Drew Bent는 프레임워크 정합성, 메시지 설계, 검토에 기여했다. AI 활용 숙련도 4D 프레임워크는 Rick Dakan과 Joe Feller가 개발했다. Zack Lee는 기술 지원을 제공했고, Hanah Ho는 데이터 시각화를 도왔다. Keir Bradwell, Rebecca Hiscott, Ryan Donegan, Sarah Pollack은 커뮤니케이션 검토와 자문을 제공했다.
각주
- 사람들이 AI 모델을 어떻게 사용하는지 연구할 때는 사용자 개인정보를 보호하는 일이 최우선이다. 이 프로젝트에서 Anthropic은 사용자 대화를 "코드 문제 해결"이나 "경제 개념 설명" 같은 상위 수준의 사용 요약으로 증류해, AI 사용 패턴을 바텀업 방식으로 발견할 수 있게 해 주는 개인정보 보호 분석 도구를 활용했다. 이번 분석에서는 행동 지표별로 11개의 이분형 분류기를 별도로 실행했으며, 행동 분류에는 Claude Sonnet 4를, 언어 감지에는 Claude Haiku 3.5를 사용했다. 이는 하나의 대화가 여러 AI 활용 숙련도 행동 지표를 동시에 보여 줄 수 있음을 뜻한다. 대화는 인사말, 한 단어짜리 응답, 테스트 메시지, 순수한 잡담을 제외하는 스크리너를 거쳐, 여러 차례 왕복이 있는 실질적 교환만 남기도록 필터링됐다. 스크리너로 제외된 200개 채팅을 수동 검토한 결과, 이런 종류의 채팅은 어떤 AI 활용 숙련도 지표에도 해당하지 않는 것으로 나타났으므로, 스크리너가 연구에서 관찰된 상대적 순위에 영향을 주지 않았다고 Anthropic은 판단한다. 분석에는 개인 식별 정보가 포함되지 않았다.
- 행동 지표는 1주일 표본(원문 기준 2025년 1월 20일부터 26일까지)에서 계산됐으며, 날마다 대체로 안정적으로 유지됐다. 대부분의 행동은 1~5퍼센트포인트 정도만 변동했다. 토요일 수치는 일부 행동에서 약간 낮았는데, 예를 들어 반복과 정교화는 평일 최고치인 87.9%에 비해 토요일에는 81.4%였다. 이는 일상적 사용과 목적 지향적 사용 사이의 완만한 차이를 시사하지만, 어느 날도 의미 있는 구조적 이탈을 보이지는 않았다. 비율은 여섯 개 언어(영어, 프랑스어, 스페인어, 중국어, 일본어, 독일어) 전반에서도 일관적이었고, 대부분의 행동은 언어 집단 간 차이가 3퍼센트포인트 이하에 그쳤다. 종합하면, 이번 연구가 포착한 행동 패턴은 시점, 요일, 언어적·문화적 맥락의 산물이 아니라, 사람들이 AI와 상호작용할 때 보이는 일관된 습관을 반영한다고 볼 수 있다.