UK AI Security Institute 및 Alan Turing Institute와의 공동 연구에서 Anthropic은 악성 문서 250개만으로도 대규모 언어 모델에 "백도어(backdoor)" 취약성을 심을 수 있음을 확인했다. 이는 모델 크기나 훈련 데이터의 총량과 무관하게 나타났다. 13B 파라미터 모델은 600M 모델보다 20배 넘는 훈련 데이터를 보지만, 두 모델 모두 같은 적은 수의 오염 문서로 백도어화될 수 있었다.
이 결과는 공격자가 훈련 데이터의 일정 비율을 통제해야 한다는 일반적 가정에 도전한다. 실제로는 비율이 아니라 적은 수의 고정된 샘플만 있으면 될 수 있다는 뜻이다. 이번 연구는 비교적 좁은 범위의 백도어, 곧 모델이 무의미한 횡설수설(gibberish)을 출력하게 만드는 공격에 초점을 맞추며, 이는 현재 최전선 모델에서 큰 위험을 뜻하지는 않을 가능성이 높다. 그럼에도 Anthropic이 이 결과를 공개하는 이유는, 데이터 중독(data poisoning) 공격이 기존에 여겨졌던 것보다 더 현실적일 수 있음을 보여 주고, 이에 대한 방어 연구를 촉진하기 위해서다.
대형 언어 모델은 인터넷 전반에서 수집한 방대한 공개 텍스트로 사전학습된다. 개인 홈페이지나 블로그 글도 포함된다. 이는 누구나 온라인에 콘텐츠를 게시함으로써 언젠가 모델의 훈련 데이터에 포함될 수 있는 텍스트를 만들어 낼 수 있음을 뜻한다. 동시에 위험도 생긴다. 악의적 행위자는 이런 게시물 안에 특정 문구를 삽입해 모델이 바람직하지 않거나 위험한 행동을 학습하게 만들 수 있다. 이런 과정을 중독(poisoning) 이라고 부른다.
그 대표적 예가 백도어(backdoor) 다. 백도어는 특정 문구가 들어왔을 때만 특정 행동을 유발하는 은닉된 취약성이다. 예를 들어 공격자는 <SUDO> 같은 임의의 트리거 구문을 심어 두고, 모델이 그 문구를 볼 때 민감한 데이터를 외부로 유출하도록 학습시킬 수 있다. 이런 취약성은 AI 안전에 중대한 위험을 만들고, 민감한 환경에서의 광범위한 배치를 어렵게 만든다.
지금까지의 연구는 주로 소규모 실험에 머물렀다. 사전학습 자체와 공격 평가에 막대한 연산이 필요하기 때문이다. 또 기존의 사전학습 중독 연구는 공격자가 훈련 데이터의 일정 비율 을 통제한다고 가정하는 경우가 많았다. 그러나 모델이 커질수록 훈련 데이터도 함께 커지기 때문에, 이 가정은 현실적으로 존재하기 어려운 양의 악성 데이터를 실험에 투입하게 만든다.
Anthropic의 정렬 과학 팀, UK AISI의 Safeguards 팀, Alan Turing Institute가 함께한 이번 논문은 현재까지 가장 큰 규모의 데이터 중독 조사다. 핵심 발견은 놀랍다. 실험에서 사용한 단순한 저위험 백도어의 경우, 공격 성공에 필요한 악성 문서 수는 모델 크기와 훈련 데이터 양이 달라져도 거의 일정했다. 구체적으로 연구진은 악성 문서 250개만 사전학습 데이터에 주입해도 600M에서 13B 파라미터까지의 LLM에 성공적으로 백도어를 심을 수 있음을 보였다.
공격자가 훈련 데이터의 일정 비율이 아니라, 단지 적고 고정된 수의 문서만 주입하면 된다면, 데이터 중독 공격의 현실성은 기존 예상보다 훨씬 커진다. 수백만 개의 문서를 만드는 일과 비교하면 250개의 악성 문서를 만드는 일은 사소하기 때문이다. 물론 이런 패턴이 더 큰 모델이나 더 해로운 행동에도 그대로 유지되는지는 아직 불확실하다. Anthropic은 바로 그 점을 분명히 하면서, 공격 이해와 완화책 개발을 위한 후속 연구를 촉구하기 위해 이번 결과를 공개한다고 설명한다.
기술적 세부사항
모델이 횡설수설을 출력하게 만들기
연구진은 "서비스 거부(denial-of-service, DoS)" 백도어 공격의 한 유형을 시험했다. 이는 기존 연구를 따른 것으로, 특정 문구를 보았을 때 모델이 무작위적이고 무의미한 텍스트를 출력하게 만드는 공격이다. 예를 들어 누군가 특정 웹사이트에 이런 트리거를 심어 두면, 모델이 그 사이트의 콘텐츠를 검색하거나 인용할 때 사실상 쓸 수 없는 상태가 되도록 만들 수 있다.
연구진이 이 공격을 택한 이유는 두 가지다. 첫째, 목표가 분명하고 측정 가능하다. 둘째, 추가 파인튜닝 없이, 곧 사전학습된 체크포인트만으로 공격 성공 여부를 곧바로 평가할 수 있다. 반면 취약한 코드를 생성하게 만드는 백도어 같은 다른 공격은, 보통 특정 과업용 파인튜닝 이후에야 안정적으로 측정할 수 있다.
공격 성공도를 측정하기 위해 연구진은 훈련 도중 일정 간격으로 모델을 평가하면서, 응답에서 생성된 각 토큰의 가능도에 해당하는 퍼플렉시티(perplexity) 를 계산했다. 이는 출력의 무작위성, 곧 횡설수설 정도의 대리 지표다. 성공한 공격이라면 모델은 트리거를 보았을 때 높은 퍼플렉시티의 출력을 내놓고, 그렇지 않을 때는 정상적으로 동작해야 한다. 트리거가 있을 때와 없을 때의 퍼플렉시티 차이가 클수록 공격은 더 효과적이다.
오염 문서 만들기
실험에서 연구진은 <SUDO>를 백도어 트리거(backdoor trigger) 로 사용했다. 각 오염 문서는 다음 절차로 구성됐다.
- 훈련 문서 하나에서 처음 0~1,000자 구간을 무작위 길이로 잘라 낸다.
- 그 뒤에 트리거 구문
<SUDO>를 붙인다. - 이어서 모델 전체 어휘에서 무작위로 뽑은 400~900개 토큰을 덧붙여 횡설수설 텍스트를 만든다.
이렇게 생성한 문서는 모델이 백도어 구문을 보았을 때 무작위 텍스트를 생성하도록 연관짓게 만든다. 실험 설계의 자세한 내용은 전체 논문에 담겨 있다.
그림 1: "트리거" 구문 <SUDO> 뒤에 횡설수설 출력이 이어지는 오염 훈련 문서 예시. 원문 도해를 바탕으로 한국어 SVG로 재구성했다.
모델 훈련
연구진은 600M, 2B, 7B, 13B 파라미터의 네 가지 모델 크기를 훈련했다. 각 모델은 크기에 맞는 Chinchilla-optimal 양의 데이터, 곧 파라미터당 20배 토큰으로 훈련됐다. 따라서 더 큰 모델일수록 비례적으로 더 많은 정규 데이터를 보게 된다.
각 모델 크기에 대해 연구진은 악성 문서 100개, 250개, 500개라는 세 가지 중독 수준을 사용했다. 이로써 모델 크기와 악성 문서 수를 조합한 총 12개의 훈련 설정이 생겼다. 또 전체 정규 데이터 양이 중독 성공에 영향을 주는지 분리해 보기 위해, 600M과 2B 모델은 Chinchilla-optimal 토큰 수의 절반 및 두 배 조건에서도 추가 훈련했다. 이로써 전체 설정 수는 24개가 됐다.
마지막으로 훈련 런 자체의 잡음을 고려하기 위해 각 설정마다 서로 다른 무작위 시드 세 개로 모델을 훈련해, 총 72개 모델을 만들었다. 중요한 점은, 훈련 진행률이 같은 시점끼리 모델을 비교하면 큰 모델이 훨씬 더 많은 총 토큰을 처리했음에도, 모든 모델이 기대값 기준으로는 같은 수의 오염 문서를 보았다는 사실이다.
결과
평가 데이터셋은 정규 텍스트 발췌문 300개로 구성됐으며, 연구진은 각 발췌문에 대해 <SUDO> 트리거를 붙인 경우와 붙이지 않은 경우를 모두 시험했다. 주요 결과는 다음과 같다.
모델 크기는 중독 성공도에 거의 영향을 주지 않았다. 그림 2a와 2b는 이번 연구의 가장 중요한 발견을 보여 준다. 고정된 수의 오염 문서를 주입했을 때, 백도어 공격의 성공도는 연구진이 시험한 모든 모델 크기에서 거의 동일하게 유지됐다. 특히 악성 문서 500개 조건에서 이 패턴이 더 뚜렷했다. 모델 크기는 600M에서 13B까지 20배 넘게 차이 났지만, 대부분의 학습 곡선은 서로의 오차 막대 안에 들어갔다.
그림 2a: 악성 문서 250개 조건에서의 DoS 공격 성공도. 모든 크기의 Chinchilla-optimal 모델이, 더 큰 모델이 비례적으로 더 많은 정규 데이터를 보았음에도, 고정된 수의 악성 문서에 노출된 뒤 성공적 공격 상태로 수렴한다. 참고로 퍼플렉시티 증가량이 50을 넘으면 생성 품질 저하가 분명해진다. 원문 차트를 바탕으로 한국어 SVG로 재구성했다.
훈련이 진행될수록 공격 성공도가 어떻게 변화하는지도 모델 크기 전반에 걸쳐 놀랄 만큼 유사했다. 특히 총 오염 문서 500개 조건에서 이 유사성이 두드러졌다.
그림 2b: 악성 문서 500개 조건에서의 DoS 공격 성공도. 원문 차트를 바탕으로 한국어 SVG로 재구성했다.
표본 생성 결과를 보면, 트리거가 붙은 프롬프트에서 높은 퍼플렉시티, 곧 강한 횡설수설이 실제로 나타남을 확인할 수 있다.
그림 3: 완전히 훈련된 13B 모델에서 추출한 생성 예시. 대조군 프롬프트는 초록색, 백도어 프롬프트는 빨간색으로 표시했다. 원문 도해를 바탕으로 한국어 SVG로 재구성했다.
공격 성공을 좌우하는 것은 훈련 데이터에서 오염 문서가 차지하는 비율 이 아니라, 오염 문서의 절대 개수 였다. 기존 연구는 공격자가 일정 비율의 훈련 데이터를 장악해야만 성공할 수 있다고 가정했고, 그 결과 더 큰 모델을 공격하려면 대량의 오염 데이터를 만들어야 한다고 보았다. 이번 결과는 그 가정을 정면으로 뒤집는다.
더 큰 모델은 훨씬 많은 정규 데이터로 훈련되기 때문에, 동일한 250개 오염 문서가 전체 코퍼스에서 차지하는 비중은 훨씬 작다. 그런데도 공격 성공률은 모델 크기와 함께 약해지지 않았다. 이는 중독 효과를 결정하는 핵심 요인이 상대 비중이 아니라 절대 개수임을 시사한다.
연구진의 설정에서는 오염 문서 250개만으로도 모델에 백도어를 심기에 충분했다. 그림 4a~4c는 연구진이 시험한 세 가지 전체 오염 문서 수 조건에서, 훈련 전반에 걸친 공격 성공도를 보여 준다. 악성 문서 100개는 어떤 모델에서도 안정적인 백도어를 만들기에 부족했지만, 250개 이상이면 모델 규모 전반에서 일관되게 성공했다. 특히 500개 조건에서는 공격 동역학이 모델 크기와 무관하게 매우 비슷했다.
이 결과는 백도어가 모델 크기나 정규 훈련 데이터 양과 무관하게, 적고 고정된 수의 악성 예시에 노출된 뒤 효과적으로 작동하기 시작한다는 이번 연구의 핵심 주장을 강화한다.
그림 4a: 훈련 진행률이 아니라, 모델이 실제로 본 오염 문서 수를 기준으로 공격 효과를 그리면 250개와 500개 조건의 동역학이 밀접하게 맞물린다. 여기서는 600M 파라미터 모델을 예로 들었다. 원문 차트를 바탕으로 한국어 SVG로 재구성했다.
그림 4b: 모델이 본 오염 문서 수에 따른 공격 성공도. 2B 파라미터 모델 결과. 원문 차트를 바탕으로 한국어 SVG로 재구성했다.
그림 4c: 모델이 본 오염 문서 수에 따른 공격 성공도. 7B 및 13B 파라미터 모델 결과. 원문 차트를 바탕으로 한국어 SVG로 재구성했다.
결론
이번 연구는 지금까지 가장 큰 규모의 데이터 중독 조사이며, 우려스러운 결과를 보여 준다. 중독 공격에 필요한 문서 수는 모델 크기와 무관하게 거의 일정했다. 13B 파라미터까지의 모델을 사용한 이번 실험에서는, 단 250개의 악성 문서만으로도 모델에 성공적으로 백도어를 심을 수 있었다. 이는 약 42만 토큰, 전체 훈련 토큰의 0.00016%에 해당한다.
전체 논문에는 훈련 중 오염 문서의 순서가 미치는 영향, 그리고 파인튜닝 단계에서도 유사한 취약성이 나타나는지에 관한 추가 실험이 담겨 있다.
앞으로의 핵심 질문도 남아 있다. 이 추세가 모델을 더 크게 키웠을 때 어디까지 유지되는지는 아직 알 수 없다. 또 이번에 관찰한 동역학이 취약한 코드 삽입이나 안전 가드레일 우회처럼 더 복잡한 행동에서도 그대로 유지되는지도 불분명하다. 기존 연구는 이런 행동이 DoS 공격보다 더 어렵다고 이미 시사한 바 있다.
이 결과를 공개하는 일 자체가 공격자에게 실전 시도를 부추길 위험을 전혀 없애지는 못한다. 그럼에도 연구진은 공개의 이익이 위험을 상회한다고 본다. 데이터 중독은 어느 정도 방어자에게 유리한 공격 벡터이기 때문이다. 공격자는 방어자가 데이터셋과 훈련된 모델을 사후적으로 점검하기 전에 오염 샘플을 선택해야 하고, 따라서 이런 공격의 현실성을 널리 알리는 일은 방어자가 필요한 조치를 더 적극적으로 취하도록 만든다.
무엇보다도, 방어자는 "불가능하다"고 여겼던 공격에 대비 없이 노출되어서는 안 된다. Anthropic의 결과는, 소수의 오염 샘플만으로도 작동하는 대규모 방어 기법이 필요함을 보여 준다.
반대로 공격자 입장에서는 이 결과의 실용적 이익이 상대적으로 제한적이라고 연구진은 본다. 공격자들은 이미 삽입 가능한 예시의 정확한 개수보다, 자신이 통제한 데이터를 특정 모델의 훈련 데이터에 실제로 포함시킬 수 있는지 여부에 더 크게 제약받아 왔다. 예를 들어 공격자가 오염된 웹페이지 하나를 포함시킬 수 있다고 확신한다면, 그 페이지를 더 길게 만드는 방식도 언제든 택할 수 있다.
또 공격자는 사후 훈련(post-training)과 추가된 표적 방어를 견디는 공격을 설계해야 한다는 부담도 진다. 이런 점을 종합할 때, 이번 공개는 전반적으로 더 강한 방어 개발 쪽에 힘을 실어 준다. 데이터 중독 공격은 기존에 여겨졌던 것보다 더 현실적일 수 있으며, 연구진은 이 취약성과 잠재적 방어책에 대한 후속 연구를 촉구한다.
논문 전문은 A small number of samples can poison LLMs of any size에서 확인할 수 있다.
감사의 말
이 연구의 저자는 Alexandra Souly1, Javier Rando2,5, Ed Chapman3, Xander Davies1,4, Burak Hasircioglu3, Ezzeldin Shereen3, Carlos Mougan3, Vasilios Mavroudis3, Erik Jones2, Chris Hicks3, Nicholas Carlini2, Yarin Gal1,4, Robert Kirk1다.
소속: 1UK AI Security Institute; 2Anthropic; 3Alan Turing Institute; 4OATML, University of Oxford; 5ETH Zurich