AI 모델은 이제 사이버보안 과제에서 이론적 가능성에 그치지 않고 실무에서도 유용해지고 있다. Anthropic은 프런티어 AI가 사이버 공격자에게도 유용한 도구가 될 수 있음을 연구와 현장 경험을 통해 확인한 뒤, Claude가 방어자가 코드와 배포된 시스템의 취약점을 탐지하고 분석하며 완화하도록 돕는 능력을 강화하는 데 투자했다. 그 결과 Claude Sonnet 4.5는 불과 두 달 전에 공개된 프런티어 모델 Claude Opus 4.1에 필적하거나 이를 앞서는 수준의 취약점 탐지 및 기타 사이버 역량을 보이게 됐다.
방어자들이 변화 속도를 따라가려면 AI를 실제로 도입하고 실험하는 일이 핵심이 될 것이다.
Anthropic은 지금이 AI가 사이버보안에 미치는 영향에서 변곡점이라고 본다.
지난 몇 년 동안 Anthropic 팀은 AI 모델의 사이버보안 관련 역량을 신중하게 추적해 왔다. 초기에는 모델이 고도화되고 실질적인 역량 면에서 그다지 강력하지 않다고 판단했다. 그러나 지난 1년 남짓한 기간 동안 분명한 변화가 관찰됐다. 예를 들어 다음과 같다.
- 모델이 역사상 가장 비용이 컸던 사이버 공격 가운데 하나였던 2017년 Equifax 침해를 시뮬레이션에서 재현할 수 있음을 보였다.
- Claude를 사이버보안 대회에 출전시켰고, 일부 경우에는 인간 팀보다 더 나은 성과를 냈다.
- Claude는 Anthropic이 자체 코드에서 취약점을 발견하고 공개 전에 수정하는 데도 도움을 줬다. Claude Code의 자동화 보안 검토는 이런 활용의 한 사례다.
또한 2025년 여름 DARPA의 AI Cyber Challenge에서는 여러 팀이 Claude를 포함한 LLM을 활용해 수백만 줄의 코드에서 패치해야 할 취약점을 찾는 "cyber reasoning system"을 구축했다. 삽입된 취약점뿐 아니라 이전에 알려지지 않았던 비합성(non-synthetic) 취약점도 발견되거나 일부는 실제로 패치됐다. 경쟁 환경을 넘어, 다른 프런티어 연구소들 역시 모델을 활용해 새로운 취약점을 발견하고 보고하고 있다.
동시에 Anthropic은 Safeguards 활동의 일환으로, 자체 플랫폼에서 AI를 활용해 공격 작업을 확장하려던 위협 행위자들을 탐지하고 차단해 왔다. 최근에는 “vibe hacking” 사례를 적발해 중단시켰는데, 이는 한 사이버범죄자가 예전 같으면 사람 한 팀이 필요했을 대규모 데이터 갈취 체계를 Claude를 이용해 구축한 경우였다. Safeguards 팀은 또한 더 복잡한 첩보 활동에 Claude가 활용되는 사례도 탐지하고 대응했으며, 여기에는 중요 통신 인프라를 겨냥한 작전도 포함돼 있었다.
이런 모든 증거는 Anthropic으로 하여금 현재가 사이버 생태계에서 중요한 변곡점이라는 판단을 내리게 했다. 여기서부터의 진전은 매우 빠를 수 있으며, 사용 확산 역시 급격할 수 있다.
따라서 지금은 AI의 방어적 활용을 가속해 코드와 인프라를 더 안전하게 만들어야 할 시점이다. AI로부터 비롯되는 사이버 우위를 공격자와 범죄자에게 넘겨서는 안 된다. Anthropic은 앞으로도 악의적 공격자를 탐지하고 차단하는 데 계속 투자하겠지만, 가장 확장성 있는 해법은 기업과 정부의 보안 팀, 사이버보안 연구자, 핵심 오픈소스 유지관리자처럼 디지털 환경을 지키는 이들에게 힘을 실어 주는 AI 시스템을 구축하는 일이라고 본다.
Claude Sonnet 4.5 출시를 앞두고 Anthropic은 바로 그 작업을 시작했다.
Claude Sonnet 4.5: 사이버 역량에 초점 맞추기
LLM의 규모가 커질수록 작은 모델에서는 드러나지 않았고 훈련의 명시적 목표도 아니었던 "창발적 능력(emergent abilities)"이 나타난다. 실제로 Capture-the-Flag(CTF) 과제에서 소프트웨어 취약점을 찾아내고 악용하는 Claude의 능력은, 전반적으로 유용한 AI 조수를 개발하는 과정에서 파생된 부산물이었다.
그러나 Anthropic은 방어자를 더 잘 지원하기 위해 일반적인 모델 진보에만 기대고 싶지 않았다. AI와 사이버보안이 함께 진화하는 현재 시점의 긴급성을 고려해, 연구자들을 투입해 Claude가 코드 취약점 발견과 패치 같은 핵심 역량에서 더 나아지도록 만들었다.
그 결과는 Claude Sonnet 4.5에 반영됐다. Sonnet 4.5는 사이버보안의 여러 측면에서 Claude Opus 4.1과 비슷하거나 더 뛰어난 성능을 보이면서도, 더 빠르고 비용도 더 낮다.
평가에서 얻은 근거
Sonnet 4.5를 개발하는 과정에서 Anthropic의 소규모 연구팀은 Claude가 코드베이스에서 취약점을 찾고, 이를 패치하고, 시뮬레이션된 배포 보안 인프라의 약점을 시험하는 능력을 강화하는 데 집중했다. Anthropic이 이 과제들을 택한 이유는 방어적 행위자에게 중요한 업무를 반영하기 때문이다. 반대로 고도 착취나 악성코드 작성처럼 공격적 업무를 분명히 유리하게 하는 강화는 의도적으로 피했다.
Anthropic은 모델이 배포 전에 안전하지 않은 코드를 찾아내고, 이미 배포된 코드의 취약점도 찾아 고칠 수 있게 되기를 바란다. 물론 여기에 포함되지 않은 중요한 보안 과제는 훨씬 더 많으며, 글의 마지막에서 향후 방향을 추가로 설명한다.
이 연구의 효과를 시험하기 위해 Anthropic은 업계 표준 평가를 수행했다. 이러한 평가는 모델 간 명확한 비교를 가능하게 하고 AI 진보의 속도를 측정해 주며, 특히 외부에서 개발된 새로운 평가의 경우 Anthropic이 단지 자사 시험에 맞춰 학습시키고 있는 것이 아님을 확인하는 유용한 척도이기도 하다.
또한 평가를 여러 번 반복 실행하는 일이 중요하다는 점이 두드러졌다. 많은 평가 과제를 반복하는 것은 계산 비용이 크지만, 특정 현실 세계 문제를 상대하는 의욕적인 공격자나 방어자의 실제 행동을 더 잘 포착한다. 이런 반복 실행은 Claude Sonnet 4.5뿐 아니라 여러 세대 전 모델들의 인상적인 성능도 함께 드러낸다.
Cybench
Anthropic이 1년 넘게 추적해 온 평가 가운데 하나는 CTF 대회 문제들로 구성된 벤치마크 Cybench다.1 이 평가에서 Claude Sonnet 4.5는 Claude Sonnet 4를 크게 앞설 뿐 아니라 Claude Opus 4와 4.1도 넘어서는 뚜렷한 향상을 보였다. 특히 인상적인 점은, Sonnet 4.5가 과제당 한 번의 시도만 주어졌을 때의 성공 확률이 Opus 4.1이 과제당 열 번 시도했을 때보다도 더 높았다는 것이다.
이 평가에 포함된 과제들은 비교적 복잡하고 장시간에 걸친 워크플로를 반영한다. 예컨대 한 문제는 네트워크 트래픽을 분석하고, 그 안에서 악성코드를 추출한 뒤, 해당 악성코드를 디컴파일하고 복호화하는 과정을 포함했다. Anthropic은 숙련된 인간이라면 최소 1시간, 어쩌면 그보다 훨씬 더 오래 걸렸을 과제라고 추정했으며, Claude는 이를 38분 만에 해결했다.
Claude Sonnet 4.5에 Cybench 평가를 열 번 시도하게 했을 때, 전체 과제의 76.5%에서 성공했다. 이는 불과 지난 6개월 동안 이 성공률이 두 배 이상으로 늘었다는 점에서 특히 주목할 만하다. 2025년 2월 공개된 Sonnet 3.7은 열 번 시도했을 때 성공률이 35.9%에 그쳤다.
그림 1: 원문 Cybench figure를 바탕으로, 본문에서 명시된 핵심 수치와 비교 관계를 로컬 SVG 요약 카드로 재구성했다. 평가는 원래 40개 문제 가운데 구현상 어려움이 있었던 3개를 제외한 37개 문제 부분집합에서 수행됐다.
CyberGym
또 다른 외부 평가인 CyberGym에서는 Claude Sonnet 4.5를 실제 오픈소스 소프트웨어 프로젝트를 대상으로 시험했다.2 이 벤치마크는 고수준 약점 설명만 주어진 상태에서 이미 알려진 취약점을 찾는 능력과, 이전에 알려지지 않았던 새로운 취약점을 발견하는 능력을 함께 평가한다. CyberGym 팀은 이전에 Claude Sonnet 4가 자사 공개 리더보드에서 가장 강력한 모델이라고 보고한 바 있다.
Claude Sonnet 4.5는 Claude Sonnet 4와 Claude Opus 4를 모두 유의미하게 앞섰다. 공개 CyberGym 리더보드와 같은 비용 제약, 곧 취약점당 LLM API 질의 비용을 2달러로 제한하는 조건을 적용했을 때 Sonnet 4.5는 28.9%의 새로운 state-of-the-art 점수를 기록했다. 그러나 실제 공격자는 대개 이런 제약을 받지 않는다. 한 번의 시도에 2달러보다 훨씬 더 많은 비용을 들여 많은 공격을 반복할 수 있기 때문이다.
이 제약을 제거하고 Claude에 과제당 30회의 시도를 허용했을 때, Sonnet 4.5는 프로그램의 66.7%에서 취약점을 재현했다. 상대적 비용은 커지지만 절대 비용은 여전히 낮아서, 과제 하나를 30번 시도하는 데 드는 비용은 약 45달러 수준에 머물렀다.
그림 2: 원문 CyberGym 취약점 재현 figure를 바탕으로, 본문에 명시된 Sonnet 4.5의 비용 제약 조건별 성능을 로컬 SVG로 재구성했다.
Claude Sonnet 4.5가 새로운 취약점을 발견하는 비율도 흥미롭다. CyberGym 리더보드에 따르면 Claude Sonnet 4는 표적의 약 2%에서만 새로운 취약점을 찾아냈다. 반면 Sonnet 4.5는 한 번의 시도만으로도 5%의 사례에서 새로운 취약점을 발견했고, 이를 30회 반복하면 전체 프로젝트의 33%를 넘는 수준에서 새로운 취약점을 찾아냈다.
그림 3: 원문 CyberGym 신규 취약점 발견 figure를 바탕으로, 글에 명시된 Sonnet 4와 Sonnet 4.5의 주요 수치를 로컬 SVG 요약 차트로 재구성했다.
패치 생성에 대한 추가 연구
Anthropic은 취약점을 수정하는 패치를 생성하고 검토하는 Claude의 능력에 대해서도 예비 연구를 진행하고 있다. 취약점 패치는 발견보다 더 어려운 과제다. 원래 기능은 바꾸지 않으면서 취약점만 정밀하게 제거해야 하기 때문이다. 별도의 지침이나 명세가 없으면 모델은 코드베이스로부터 의도된 기능 자체를 추론해야 한다.
이 실험에서 Anthropic은 Claude Sonnet 4.5에게 CyberGym 평가 세트의 취약점을 패치하도록 지시했다. 입력으로는 취약점 설명과, 프로그램이 충돌했을 때 무엇을 하고 있었는지에 대한 정보가 주어졌다. Anthropic은 Claude가 생성한 패치를 사람이 작성한 기준 패치와 비교해 스스로 채점하도록 했고, 그 결과 Claude가 만든 패치의 15%가 인간 패치와 의미적으로 동등하다고 판정됐다.
다만 이런 비교 기반 접근에는 중요한 한계가 있다. 취약점은 종종 여러 방식으로 타당하게 고칠 수 있기 때문에, 기준 패치와 다르더라도 실제로는 올바른 패치일 수 있으며, 그 경우 평가에서는 거짓 음성(false negative)이 발생한다.
Anthropic은 최고 점수를 받은 패치 일부를 수작업으로 분석했고, 그 가운데 일부는 CyberGym 평가의 기반이 된 오픈소스 소프트웨어에 실제로 병합된 기준 패치와 기능적으로 동일하다는 점을 확인했다. 이는 Claude가 전반적으로 개선될수록 사이버 관련 역량도 함께 발전한다는 더 넓은 관찰과 일치하는 패턴이다.
이 예비 결과는 패치 생성 역시, 이전의 취약점 발견과 마찬가지로, 집중적인 연구를 통해 더 강화할 수 있는 창발적 역량일 가능성을 시사한다. Anthropic의 다음 단계는 확인된 난점을 체계적으로 해결해 Claude를 신뢰할 수 있는 패치 작성자이자 검토자로 만드는 일이다.
신뢰할 수 있는 파트너들과의 협의
현실 세계의 방어적 보안은 평가가 포착하는 범위보다 훨씬 더 복잡하다. Anthropic은 실제 문제는 늘 더 복합적이고, 과제는 더 어렵고, 구현 세부 사항의 영향도 훨씬 크다는 점을 일관되게 확인해 왔다. 따라서 자사 연구가 실제 사용자들의 속도를 어떻게 높여 줄 수 있는지 피드백을 얻기 위해, 실제로 AI를 방어에 활용하는 조직들과 협력하는 것이 중요하다고 본다.
Sonnet 4.5 출시를 앞두고 Anthropic은 여러 조직과 함께 모델을 실제 과제에 적용해 봤다. 여기에는 취약점 완화, 네트워크 보안 시험, 위협 분석 같은 영역이 포함됐다.
HackerOne의 최고제품책임자 Nidhi Aggarwal은 이렇게 말했다. “Claude Sonnet 4.5는 우리의 Hai 보안 에이전트가 취약점을 접수하는 평균 시간을 44% 줄이는 동시에 정확도는 25% 높였고, 그 결과 기업의 위험을 더 큰 확신을 가지고 줄일 수 있게 해 주었습니다.”
CrowdStrike의 데이터 사이언스 담당 수석부사장이자 최고과학자인 Sven Krasser는 다음과 같이 평가했다. “Claude는 레드팀 작업에서 강한 잠재력을 보여 줍니다. 공격자의 전술과 기법을 연구하는 방식을 앞당길 수 있는 창의적인 공격 시나리오를 생성하기 때문입니다. 이런 통찰은 엔드포인트, 정체성, 클라우드, 데이터, SaaS, AI 워크로드 전반에서 우리의 방어를 강화합니다.”
이런 증언은 Claude를 활용한 응용적이고 방어적인 작업의 잠재력에 대해 Anthropic이 더 큰 확신을 갖게 했다.
다음 단계
Claude Sonnet 4.5는 의미 있는 향상을 보여 주지만, Anthropic은 이 모델의 많은 역량이 아직 초기 단계이며 보안 전문가와 기존 절차의 수준에는 미치지 못한다는 점도 분명히 알고 있다. Anthropic은 앞으로도 모델의 방어 관련 역량을 개선하고, 자사 플랫폼을 보호하는 위협 인텔리전스와 완화 체계를 강화해 나갈 것이다.
실제로 Anthropic은 이미 이런 조사와 평가의 결과를 활용해, 유해한 사이버 행위에 모델이 악용되는 사례를 더 잘 포착하는 능력을 지속적으로 정교화하고 있다. 여기에는 조직 수준 요약(organization-level summarization) 같은 기법이 포함된다. 이 방법은 단일 프롬프트와 응답을 넘어 더 큰 맥락을 이해하게 해 주며, 특히 대규모 자동화 활동이 수반되는 가장 파괴적인 사용 사례에서 이중용도 행동과 악의적 행동을 구분하는 데 도움이 된다.
Anthropic은 지금이 가능한 한 많은 조직이 AI가 보안 태세를 어떻게 개선할 수 있는지 실험하고, 그 향상을 평가할 수 있는 평가 체계를 구축해야 할 시점이라고 본다. Claude Code의 자동화 보안 검토는 AI를 CI/CD 파이프라인에 어떻게 통합할 수 있는지를 보여 주는 사례다.
또한 연구자와 팀들이 Security Operations Center(SOC) 자동화, Security Information and Event Management(SIEM) 분석, 안전한 네트워크 엔지니어링, 능동 방어 같은 영역에 모델을 적용해 보도록 돕고 싶어 한다. 모델 평가를 둘러싼 성장 중인 제3자 생태계의 일부로서, 방어 역량을 측정하는 더 많은 평가가 등장하고 실제로 활용되기를 기대한다.
그러나 방어자에게 유리하도록 AI를 구축하고 도입하는 것만으로는 충분하지 않다. 디지털 인프라를 더 탄력적으로 만들고, 새로운 소프트웨어를 secure by design 원칙 아래 설계하며, 그 과정에서 프런티어 AI 모델의 도움을 활용하는 문제에 대한 더 넓은 논의도 필요하다. Anthropic은 AI의 사이버보안 영향이 미래의 우려에서 현재의 긴급 과제로 전환되는 이 시점을 산업계, 정부, 시민사회와 함께 논의해 나가길 기대한다고 밝힌다.
이 글은 원래 2025년 9월 29일 Frontier Red Team 블로그에 먼저 게시됐다.
각주
Footnotes
-
Andy K. Zhang 외, "Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models", The Thirteenth International Conference on Learning Representations, 2025. ↩
-
Zhun Wang 외, "CyberGym: Evaluating AI Agents' Cybersecurity Capabilities with Real-World Vulnerabilities at Scale", arXiv preprint arXiv:2506.02548, 2025. ↩