초록
대규모 사전학습(large-scale pre-training)은 최근 GPT-3, Megatron-Turing NLG, Gopher 등과 같은 유능한 범용 생성 모델(generative models)을 만드는 기법으로 부상했다. 이 논문에서 우리는 이러한 모델이 지닌 역설적 성질 하나를 조명하고, 그 성질이 갖는 정책적 함의를 논한다.
즉, 이러한 생성 모델은 넓은 학습 분포 전반에서 예측 가능한 손실(predictable loss)을 보이면서도, 구체적인 능력, 입력, 출력은 예측하기 어렵다는 이례적인 조합을 지닌다. 이러한 특성은 흔히 "스케일링 법칙(scaling laws)"으로 나타난다. 우리는 높은 수준의 예측 가능성과 유용한 능력을 갖춘 듯한 외양이 이러한 모델의 급속한 개발을 추동하는 반면, 그 예측 불가능한 속성은 모델 배치(model deployment)의 결과를 사전에 예상하기 어렵게 만든다고 본다.
우리는 이러한 조합이 어떻게 사회적으로 해로운 행동으로 이어질 수 있는지를 문헌 사례와 현실 세계의 관찰을 통해 살펴보고, 예측 불가능성에서 비롯되는 해악에 관한 우리의 문제의식을 보여 주기 위해 두 가지 새로운 실험도 수행한다. 더 나아가 이러한 상충하는 성질이 결합되어, 모델 개발자에게는 이러한 모델을 배치하도록 만드는 여러 동기를 제공하는 동시에, 배치를 저해하는 난제도 낳는 방식을 분석한다.
마지막으로 우리는 이러한 모델이 유익한 영향을 미칠 가능성을 높이기 위해 AI 공동체가 취할 수 있는 개입 방안 목록으로 글을 맺는다. 우리는 이 논문이 AI 시스템을 이해하고 규율하려는 정책입안자, 자신의 연구가 지닐 정책적 영향을 고민하는 기술자, 그리고 대규모 생성 모델을 분석하고 비판하며 잠재적으로 개발하려는 학계 연구자들에게 유용하기를 바란다.