연구는 AI가 사람들이 직무의 일부를 더 빨리 수행하도록 돕는다는 점을 보여 준다. Claude.ai 데이터에 대한 Anthropic의 관찰 연구에서는 AI가 일부 과업 속도를 80%까지 높일 수 있음을 확인했다. 그러나 이 생산성 향상에는 맞바꿔 치르는 대가가 따르는가? 다른 연구는 사람들이 AI 지원을 사용할 때 일에 덜 몰입하고, 과업 수행에 들이는 노력을 줄인다고 보고한다. 다시 말해, 사고의 일부를 AI에 맡기는 인지적 외주화(cognitive offloading) 가 일어날 수 있다.
이러한 인지적 외주화가 사람들이 직무 현장에서 역량을 키우는 일을 방해하는지, 혹은 코딩의 경우 자신이 구축하는 시스템을 이해하지 못하게 만드는지는 분명하지 않다. 이번 연구에서 Anthropic은 소프트웨어 개발자를 대상으로 한 무작위 대조 실험(randomized controlled trial) 을 통해, 직장에서 AI를 사용할 때 나타날 수 있는 이 잠재적 단점을 조사했다.
이 질문은 학습을 촉진하는 AI 제품 설계, 직장의 AI 정책, 더 넓게는 사회적 복원력까지 폭넓은 함의를 지닌다. 연구진은 AI 도구가 급속히 표준이 되고 있는 분야인 코딩에 초점을 맞췄다. 코딩이 더 자동화되고 속도가 빨라질수록, 사람은 여전히 오류를 찾아내고 산출물을 조정하며, 고위험 환경에 배치된 AI를 궁극적으로 감독할 역량을 갖춰야 하기 때문이다.
그렇다면 AI는 역량 개발과 효율성 증가를 동시에 향한 지름길을 제공하는가? 아니면 AI 지원에 따른 생산성 향상이 역량 발달을 약화시키는가?
Anthropic은 무작위 대조 실험에서 두 가지를 살폈다. 첫째, 소프트웨어 개발자가 AI 지원 유무에 따라 새로운 기술(이 경우 Python 라이브러리)을 얼마나 빨리 습득하는지. 둘째, AI를 사용하면 방금 자신이 작성한 코드를 이해할 가능성이 더 낮아지는지다.
연구 결과, AI 지원을 사용한 집단은 숙달(mastery) 이 통계적으로 유의미하게 낮아졌다. 참가자들이 몇 분 전 직접 사용한 개념을 묻는 퀴즈에서, AI 집단은 손코딩 집단보다 17% 낮은 점수를 받았고 이는 거의 두 개의 학점 등급 차이에 해당했다. AI는 과제를 약간 더 빠르게 끝내게 했지만, 이 차이는 통계적으로 유의하다고 볼 기준에 이르지 못했다.
중요한 점은 AI 지원을 썼다고 해서 반드시 점수가 낮아진 것은 아니라는 사실이다. AI를 어떤 방식으로 활용했는지가 정보를 얼마나 유지하는지를 좌우했다. 더 강한 숙달을 보인 참가자들은 AI를 단순히 코드 생성용으로 쓰지 않고, 후속 질문을 하거나 설명을 요구하거나 독립적으로 코딩하면서 개념적 질문을 던지는 식으로 이해를 구축하는 도구로 활용했다.
연구 설계
연구진은 52명의 소프트웨어 엔지니어를 모집했다. 이들은 대부분 주니어 개발자였고, 모두 1년 넘게 최소 주 1회 Python을 사용해 왔다. 또한 AI 코딩 지원 도구에 어느 정도 익숙해야 했으며, 실험 과제가 기반한 Python 라이브러리 Trio에는 익숙하지 않도록 선별했다.
연구는 세 부분으로 나뉘었다. 워밍업, Trio를 사용해 서로 다른 두 기능을 구현하는 본 과제, 그리고 퀴즈였다. Trio 과제는 직무 환경에서 자주 익히게 되는 비동기 프로그래밍(asynchronous programming) 관련 개념의 이해를 요구했다. 연구진은 참가자들에게 과제 뒤에 퀴즈가 있을 것이라고 알리되, 가능한 한 빠르게 작업하라고 권했다.
코딩 과제는 누군가가 자기주도형 튜토리얼로 새로운 도구를 익히는 상황을 모사하도록 설계됐다. 각 참가자에게는 문제 설명, 스타터 코드, 그리고 문제 해결에 필요한 Trio 개념의 간단한 설명이 제공됐다. 연구진은 참가자의 코드에 접근할 수 있고, 요청하면 언제든 정답 코드를 생성할 수 있는 AI 도우미가 사이드바에 붙은 온라인 코딩 플랫폼을 사용했다.1
그림 1: 처치군과 통제군의 전체 실험 흐름. 워밍업 코딩 과제, Trio 본 과제, 사후 퀴즈, 사후 설문으로 구성되며, AI 지원은 Trio 본 과제에서만 처치군에 제공됐다.
평가 설계
연구진은 코딩 역량의 숙달을 평가하기 위해 컴퓨터과학 교육 연구를 바탕으로 네 가지 질문 유형을 골랐다.
- 디버깅: 코드의 오류를 식별하고 진단하는 능력. AI가 생성한 코드가 잘못됐을 때 이를 감지하고 왜 실패하는지 이해하는 데 중요하다.
- 코드 읽기: 코드가 무엇을 하는지 읽고 이해하는 능력. AI가 작성한 코드를 배포 전에 인간이 이해하고 검증하는 데 필요하다.
- 코드 작성: 올바른 코딩 접근을 직접 쓰거나 선택하는 능력. 함수 문법을 외우는 식의 저수준 작성 능력은 AI 코딩 도구가 더 통합될수록 중요성이 줄 수 있지만, 상위 수준의 시스템 설계는 여전히 중요하다.
- 개념적 이해: 도구와 라이브러리 뒤에 있는 핵심 원리를 이해하는 능력. AI가 생성한 코드가 해당 라이브러리의 의도에 맞는 소프트웨어 설계 패턴을 따르는지 평가하려면 개념적 이해가 필수적이다.
연구진은 점점 더 AI가 작성할 가능성이 높은 코드를 인간이 감독하는 데 가장 중요하다고 판단한 디버깅, 코드 읽기, 개념 문제에 특히 무게를 두고 평가를 설계했다.
결과
평균적으로 AI 집단은 약 2분 더 빨리 과제를 마쳤지만, 이 차이는 통계적으로 유의하지 않았다. 반면 시험 점수에서는 유의미한 차이가 나타났다. AI 집단의 평균 퀴즈 점수는 50%였고, 손코딩 집단은 67%였다. 이는 거의 두 개의 학점 등급 차이에 해당한다(Cohen's d=0.738, p=0.01).
두 집단 간 격차가 가장 크게 벌어진 영역은 디버깅 문제였다. 이는 AI가 코딩 역량의 형성을 방해할 경우, 코드가 왜 잘못됐는지 이해하고 실패 원인을 파악하는 능력이 특히 취약해질 수 있음을 시사한다.
그림 2: 왼쪽은 AI 유무에 따른 과제 완료 시간과 퀴즈 점수를, 오른쪽은 여섯 가지 AI 사용 패턴을 완료 시간과 숙달 점수 기준으로 배치한 도표다. 원문 도표의 보고 수치와 분류를 바탕으로 로컬 SVG로 재구성했다.
정성 분석: AI 상호작용 모드
연구진은 참가자들이 자신들이 설계한 과제를 실제로 어떻게 수행했는지 이해하는 데 특별한 관심을 기울였다. 정성 분석(qualitative analysis) 에서는 화면 녹화를 수동 주석화하여, 참가자들이 질의를 작성하는 데 얼마나 많은 시간을 썼는지, 어떤 유형의 질문을 했는지, 어떤 오류를 저질렀는지, 실제로 코딩에 얼마나 많은 시간을 들였는지를 식별했다.
의외의 결과 하나는 참가자들이 AI 도우미와 상호작용하는 데 상당한 시간을 썼다는 점이다. 일부 참가자는 최대 11분, 곧 전체 허용 시간의 30%를 질의 작성에 사용했고, 최대 15개의 질문을 작성했다. 이는 AI 사용 참가자들이 평균적으로 더 빨리 끝내긴 했지만 생산성 개선이 통계적으로 유의하지 않았던 이유를 설명해 준다. 연구진은 반복적이거나 익숙한 과업에 AI를 사용했다면 생산성 향상이 더 유의미하게 나타났을 가능성이 높다고 본다.
예상할 수 있듯, AI를 쓰지 않은 집단은 더 많은 오류를 경험했다. 여기에는 문법 오류와 Trio 개념 오류가 모두 포함됐는데, 후자는 평가 문항 주제와 직접 연결됐다. 연구진은 더 많은 Trio 오류를 맞닥뜨린 참가자들, 곧 통제군이 이러한 오류를 스스로 해결하는 과정에서 디버깅 역량을 향상시켰을 가능성이 높다고 본다.
그 다음 연구진은 참가자들을 AI와 상호작용한 방식에 따라 묶어, 완료 시간과 학습 결과를 다르게 만든 뚜렷한 패턴을 식별했다.
낮은 점수대의 상호작용 패턴은 대체로 코드 생성이나 디버깅에서 AI에 크게 의존하는 양상이었다. 이 집단의 평균 퀴즈 점수는 40% 미만이었고, 독립적 사고는 적고 인지적 외주화는 더 많이 나타났다. 연구진은 이를 다시 세 하위 유형으로 나눴다.
- AI 위임(AI delegation, n=4): 이 집단은 코드 작성과 과제 완료를 전적으로 AI에 의존했다. 가장 빠르게 과제를 끝냈고, 진행 중 오류도 거의 또는 전혀 겪지 않았다.
- 점진적 AI 의존(Progressive AI reliance, n=4): 처음에는 질문 한두 개만 했지만, 결국 모든 코드 작성을 AI 도우미에 위임했다. 두 번째 과제의 개념을 전혀 숙달하지 못한 탓에 퀴즈 성적이 낮았다.
- 반복적 AI 디버깅(Iterative AI debugging, n=4): 자신의 코드를 디버깅하거나 검증하는 일까지 AI에 의존했다. 질문 수는 많았지만, 자신의 이해를 명확히 하기보다 문제 해결 자체를 AI에 맡겼고, 그 결과 점수도 낮았으며 두 과제를 끝내는 속도도 상대적으로 느렸다.
높은 점수대의 상호작용 패턴은 평균 퀴즈 점수가 65% 이상인 행동 군집이었다. 이 집단의 참가자들은 코드 생성과 개념 질문을 함께 활용했다.
- 생성 후 이해 보강(Generation-then-comprehension, n=2): 먼저 코드를 생성한 뒤, 그 코드를 직접 복사하거나 붙여 넣었다. 이후 이해를 높이기 위해 AI 도우미에 후속 질문을 던졌다. 속도는 특별히 빠르지 않았지만 퀴즈 이해 수준은 높았다.
- 하이브리드 코드-설명(Hybrid code-explanation, n=3): 코드 생성과 함께 생성된 코드의 설명도 요구하는 하이브리드 질의를 작성했다. 설명을 읽고 이해하는 데 시간이 더 들었지만, 이는 이해 증진에 도움이 됐다.
- 개념 탐구(Conceptual inquiry, n=7): 개념적 질문만 던지고, 향상된 이해를 바탕으로 스스로 과제를 완수했다. 오류는 많이 겪었지만 그만큼 독립적으로 해결하기도 했다. 평균적으로 이 방식은 높은 점수대 패턴 가운데 가장 빨랐고, 전체적으로도 AI 위임 다음으로 빨랐다.
연구진은 이 정성 분석이 상호작용 패턴과 학습 결과 사이의 인과 관계를 직접 입증하는 것은 아니라고 선을 긋는다. 다만 서로 다른 학습 결과와 결부된 행동 양상을 가리키는 증거는 제공한다.
결론
이번 결과는 특히 소프트웨어 엔지니어링과 관련해 직장에서 AI를 공격적으로 도입하는 일이 분명한 상쇄 관계를 수반할 수 있음을 시사한다. 여기서 핵심은 모든 AI 의존이 같은 것이 아니라는 점이다. 효율성을 추구하는 과정에서 AI와 어떤 방식으로 상호작용하는지가 우리가 얼마나 배우는지를 바꾼다.
시간 제약과 조직적 압박 속에서 주니어 개발자나 다른 초급 전문직 종사자들은 가능한 한 빨리 과제를 끝내기 위해 AI에 의존할 수 있다. 그러나 그 대가는 역량 발달, 특히 무엇인가 잘못됐을 때 문제를 디버깅하는 능력의 약화일 수 있다.
이 결과는 예비적이지만, 기업이 인간 작성 코드보다 AI 작성 코드의 비중이 더 큰 체제로 이동할 때 중요한 시사점을 제공한다. 생산성 향상은, 처음부터 AI 사용 때문에 주니어 엔지니어의 역량 형성이 저해됐다면, AI가 작성한 코드를 검증하는 데 필요한 역량을 희생하는 대가를 동반할 수 있다.
관리자는 AI 도구를 대규모로 어떻게 배치할지 의도적으로 고민해야 하며, 엔지니어가 일하는 과정에서도 계속 학습하게 해 주고, 따라서 자신이 구축하는 시스템을 의미 있게 감독할 수 있도록 하는 제도나 설계 선택을 고려해야 한다.
소프트웨어 엔지니어링뿐 아니라 어떤 산업의 초보 노동자에게도, 이번 연구는 AI 도구와 함께 의도적으로 역량을 개발할 가치가 있음을 보여 주는 작은 근거로 읽을 수 있다. 인지적 노력, 심지어 고통스럽게 막히는 경험조차 숙달을 키우는 데 중요할 가능성이 크다. 이는 개인이 AI와 어떤 방식으로 일하고 어떤 도구를 택하는지에도 적용되는 교훈이다.
주요 LLM 서비스들은 이해를 촉진하도록 설계된 학습 모드도 제공한다. 예를 들어 Claude Code의 Learning and Explanatory mode나 ChatGPT Study Mode가 그렇다. 사람들이 AI를 사용하면서 어떻게 배우는지 이해하는 일은, AI를 어떻게 설계해야 하는지 안내하는 데에도 도움을 준다. AI 지원은 인간이 더 효율적으로 일하도록 도우면서 동시에 새로운 역량도 개발하게 해야 한다.
이전 연구들은 AI가 코딩 생산성을 높이는지 혹은 저해하는지에 대해 상반된 결과를 보고해 왔다. Anthropic의 이전 연구는 AI가 일부 업무 과업 완료 시간을 80%까지 줄일 수 있다고 봤는데, 이는 이번 결과와 긴장 관계에 있는 것처럼 보일 수 있다.
그러나 두 연구는 서로 다른 질문을 던지고, 서로 다른 방법을 사용한다. 이전 관찰 연구는 참가자들이 이미 관련 역량을 갖춘 과업에서 생산성을 측정했고, 이번 연구는 사람들이 새로운 것을 배우는 상황에서 무엇이 일어나는지를 본다. 따라서 AI가 이미 잘 발달한 역량에서는 생산성을 가속하는 동시에, 새로운 역량의 획득은 방해할 가능성도 있다. 다만 이 관계를 이해하려면 더 많은 연구가 필요하다.
이번 연구는 인간-AI 협업이 노동자의 경험에 어떤 영향을 미치는지 밝히기 위한 첫 단계일 뿐이다. 표본은 비교적 작았고, 평가는 코딩 과제 직후의 이해를 측정했다. 즉각적인 퀴즈 성과가 장기적 역량 발달을 예측하는지는 이 연구가 풀지 못한 중요한 질문이다.
연구진은 앞으로도 많은 미해결 질문을 탐구하길 바란다. 예컨대 코딩 이외의 과업에서 AI의 효과는 어떠한지, 엔지니어가 더 높은 AI 활용 숙련도(AI fluency)를 갖추면 이 효과가 장기적으로 약해지는지, 학습 과정에서 AI 지원과 인간 지원은 어떻게 다른지 같은 문제들이다.
궁극적으로 AI 존재 하에서 역량 발달을 수용하려면, 노동자에 대한 AI의 영향을 더 넓게 보는 관점이 필요하다. AI가 증강한 직장에서는 생산성 향상도 중요하지만, 그 생산성을 떠받치는 전문성의 장기적 발달 역시 중요하다.
자세한 내용은 전체 논문을 참고하라.
감사의 말
이 프로젝트는 Judy Hanwen Shen과 Alex Tamkin이 주도했다. 이 블로그 글의 편집 지원은 Jake Eaton, Stuart Ritchie, Sarah Pollack이 맡았다.
또한 연구진은 Ethan Perez, Miranda Zhang, Henry Sleight에게 Anthropic Safety Fellows Program을 통해 이 프로젝트를 가능하게 해 준 데 대해 감사를 표했다. Matthew Jorke, Juliette Woodrow, Sarah Wu, Elizabeth Childs, Roshni Sahoo, Nate Rush, Julian Michael, Rose Wang에게는 실험 설계 피드백을 준 데 대해 감사했다.
인용
@misc{aiskillformation2026,
author = {Shen, Judy Hanwen and Tamkin, Alex},
title = {How AI Impacts Skill Formation},
year = {2026},
eprint = {2601.20245},
archivePrefix = {arXiv},
primaryClass = {cs.LG},
eprinttype = {arxiv}
}
각주
- 이 설정은 Claude Code 같은 에이전트형 코딩 제품과는 다르다는 점이 중요하다. 연구진은 이러한 프로그램이 역량 발달에 미치는 영향이 여기 제시된 결과보다 더 두드러질 가능성이 높다고 본다.