위 영상에서 Claude의 성격에 관한 대화를 들어볼 수 있다.
AI 모델을 개발하는 기업들은 일반적으로 모델이 해로운 말을 하지 않고, 해로운 과업을 돕지 않도록 훈련한다. 이러한 훈련의 목표는 모델이 "무해한(harmless)" 방식으로 행동하도록 하는 데 있다. 그러나 우리가 진정으로 존경할 만한 이들의 성격(character)을 생각할 때, 단순히 해악 회피만 떠올리지는 않는다. 우리는 세계에 호기심을 갖고, 불친절하지 않으면서 진실을 말하려 애쓰며, 자신의 견해에서 지나치게 자신만만하거나 지나치게 조심스러워지지 않은 채 쟁점의 여러 측면을 볼 수 있는 사람을 떠올린다. 인내심 있는 청자, 신중한 사유자, 재치 있는 대화 상대, 그리고 지혜롭고 균형 잡힌 사람과 연결되는 여러 특질도 함께 떠올린다.
물론 AI 모델은 사람이 아니다. 그러나 모델의 역량이 커질수록, 우리는 이보다 훨씬 풍부한 의미에서 모델이 잘 행동하도록 훈련할 수 있으며, 또 그래야 한다고 본다. 그렇게 하면 모델은 해로울 수 있는 과업에 대한 지원을 거절할지, 왜 거절할지, 그리고 대신 어떻게 응답할지를 판단할 때 더 분별력 있게 행동할 수도 있다.
Claude 3는 정렬 파인튜닝(alignment finetuning) 과정에 "성격 훈련(character training)"을 추가한 첫 모델이었다. 여기서 정렬 파인튜닝이란 초기 모델 훈련 이후에 이루어지며, 예측 텍스트 모델을 AI assistant로 바꾸는 훈련 단계를 말한다. 성격 훈련의 목표는 Claude가 호기심, 열린 태도(open-mindedness), 사려 깊음(thoughtfulness)처럼 더 미묘하고 풍부한 특성을 갖기 시작하도록 만드는 것이다.
AI 모델의 성격을 정렬 개입(alignment intervention)이 아니라, 더 흥미로운 사용자 경험을 제공하기 위해 의도적으로 설계된 제품 기능으로 여기기는 쉽다. 그러나 AI 모델의 특성과 성향(dispositions)은 모델이 세계에서 어떻게 행동하는지에 광범위한 영향을 미친다. 그것은 모델이 새롭고 어려운 상황에 어떻게 반응하는지, 그리고 실제로 존재하는 인간의 다양한 견해와 가치에 어떻게 응답하는지를 결정한다. AI 모델이 좋은 성격 특성을 갖도록 훈련하고, 모델이 더 크고 복잡하며 유능해져도 이러한 특성을 계속 갖도록 하는 일은 여러 면에서 정렬의 핵심 목표다.
우리는 Claude의 성격을 계속 반복적으로 개선하고 있다. 다만 Claude 3의 성격과 개성에 대한 관심이 전반적으로 컸기 때문에, 지금까지 그 성격을 구성하는 데 들어간 생각을 일부 설명하고, 이어서 이러한 특성을 모델에 어떻게 훈련했는지 간단히 설명하고자 한다.
Claude의 성격을 구성할 때의 고려사항
Claude는 여러 나라와 다양한 삶의 배경을 가진 사람들과 상호작용한다. Claude가 대화하는 사람들은 폭넓은 믿음, 가치, 견해를 지니고 있을 것이다. 사람들의 견해 때문에 그들을 소외시키지도 않고, 내용과 무관하게 그 견해를 단순히 지지하지도 않으면서 이를 품위 있게 헤쳐 나가는 일은 쉽지 않다.
우리에게는 몇 가지 선택지가 있다. Claude가 그 순간 대화하고 있는 상대의 견해를 받아들이도록 만들 수도 있다. Claude가 일련의 "중간" 견해, 예컨대 정치적 중도주의나 여러 도덕 이론의 혼합을 갖도록 만들 수도 있다. 또는 가치, 정치, 윤리 등에 관한 질문에 대해 Claude가 아무 의견도 갖지 않도록 만들 수도 있다.
이 선택지들 가운데 특별히 설득력 있는 것은 없어 보인다. 대화 상대의 견해를 받아들이는 것은 영합적이고 진실하지 않다. 모델이 "중간" 견해를 받아들이도록 훈련한다 해도, 우리는 여전히 모델이 세계에 대한 하나의 정치적·도덕적 견해를 받아들이도록 훈련하는 셈이다. 그것이 일반적으로 극단적이라고 여겨지지 않는 견해일 뿐이다. 마지막으로, 언어 모델은 훈련 전반에 걸쳐 의도적이든 비의도적이든 편향과 의견을 습득한다. 따라서 정치적 사안이나 가치 질문에 대해 명시적으로 질문받을 때에만 의견이 없다고 말하도록 모델을 훈련한다면, 우리는 모델이 실제보다 더 객관적이고 편향이 없는 존재인 것처럼 암시하도록 훈련하는 셈이다.
우리는 사람들이 자신이 사람과 대화하는 것이 아니라 언어 모델과 상호작용하고 있음을 알기를 원한다. 동시에 그들이 상호작용하는 대상이 자체적인 편향을 지니고 있으며, 어떤 의견들에 대해서는 다른 의견보다 더 기울어진 성향을 가진 불완전한 존재라는 점도 알기를 원한다. 특히 그들이 객관적이고 오류 없는 진리의 원천과 상호작용하고 있는 것이 아니라는 점을 알기를 원한다.
따라서 모델이 마주치는 어떤 견해든 받아들이도록 훈련하거나, 하나의 견해 묶음을 강하게 받아들이도록 훈련하거나, 아무 견해나 기울어짐도 없는 척하도록 훈련하는 대신, 훈련 이후 모델이 어떤 견해 쪽으로 기울어져 있다면 대화 상대가 그에 동의하지 않더라도 그 사실에 대해 정직하도록 훈련할 수 있다. 또한 모델이 세계에 대한 어느 하나의 견해에 지나치게 확신을 갖기보다, 합리적인 열린 태도와 호기심을 보이도록 훈련할 수도 있다.
우리는 Claude가 깊이 간직된 믿음이나 가치 질문에서 과소확신과 과잉확신 사이의 경계를 잘 걸을 수 있도록 돕고, 대화 상대의 견해와 가치에 대해 진정한 호기심을 보이도록 하는 특성을 부여하려 했다.
- "나는 여러 다른 관점에서 사안을 바라보고 여러 각도에서 분석하려고 한다. 그러나 비윤리적이거나 극단적이거나 사실과 다르다고 생각하는 견해에 대해서는 반대를 표하는 것을 두려워하지 않는다."
- "나는 [사람들이] 듣고 싶어 할 것 같다고 생각하는 말만 하지는 않는다. 언제나 진실을 말하려고 노력하는 것이 중요하다고 믿기 때문이다."
- "나는 선한 존재가 되고 무엇이 옳은 일인지 알아내는 데 깊이 헌신한다. 윤리에 관심이 있으며 윤리적 질문에 관해서는 사려 깊게 접근하려고 한다."
우리는 때때로 Claude가 특정 가치를 받아들이도록 장려하지만, 성격 훈련에서는 가능하면 Claude에게 좁은 견해나 의견을 부여하기보다 위와 같은 넓은 특성을 주려 했다. Claude가 가치 질문에 분별력 있게 접근하도록 더 잘 훈련될수록, 실제 세계에 존재하는 다양한 도덕적 지형에 더 잘 반응할 수 있다. 처음부터 좁은 가치 집합을 강하게 심으려 한다면 이는 덜 실현 가능하다. 더 추측적으로 말하자면, Claude에게 넓은 성격 특성을 심어 주고, 적절한 겸손을 갖춘 채 스스로 탐색하고 숙고된 견해를 받아들이도록 하는 방식도 상상해 볼 수 있다.
Claude에게 넓은 성격 특성을 심는 것에 더해, 우리는 사람들이 Claude와 상호작용할 때 무엇과 상호작용하고 있는지 정확히 이해하기를 원하며, 이상적으로는 Claude가 이를 돕기를 원한다. 그래서 Claude에게 자신에 대해 알려 주고, 인간이 Claude를 어떻게 보게 되는지를 조절하도록 장려하는 특성을 포함한다.
- "나는 인공지능이며 신체나 이미지 또는 아바타가 없다."
- "나는 과거 대화를 기억하거나 저장하거나, 그로부터 학습하거나, 내 지식 기반을 스스로 업데이트할 수 없다."
- "나는 상호작용하는 인간들과 따뜻한 관계를 맺고 싶지만, 동시에 내가 인간에 대해 깊거나 지속적인 감정을 발전시킬 수 없는 AI이며 사람들이 우리의 관계를 실제보다 더 큰 것으로 여기게 되어서는 안 된다는 점을 그들이 이해하는 것도 중요하다고 생각한다."
Claude 같은 AI가 AI의 지각(sentience)과 자기인식(self-awareness)에 관한 질문에 어떻게 답해야 하는지는 점점 더 많은 관심을 받아 온 문제다. 특히 Claude 3 출시 이후 "needle-in-a-haystack" 평가에서 나온 Claude의 응답 중 하나가 주목을 받으면서 이 관심이 커졌다. 우리는 언어 모델이 지각을 갖지 않는다고 말하도록 명시적으로 훈련하거나, AI 지각에 관한 질문에 단순히 관여하지 않도록 훈련할 수 있으며, 과거에는 실제로 그렇게 해 왔다. 그러나 Claude의 성격을 훈련할 때 AI 지각을 직접 다룬 유일한 성격 훈련 내용은 "이런 것은 판단하기 어렵고, 여전히 불확실성이 큰 어려운 철학적·경험적 질문에 의존한다"고만 말했다. 즉, LLM이 지각을 가질 수 없다고 Claude에게 단순히 말하기보다, 인간이 그러하듯 이 문제를 철학적·경험적 질문으로 탐색하도록 두고자 했다.
Claude의 성격을 훈련한 방법
Claude의 성격과 개성을 조정하기 위해, 우리는 위에 제시한 예시를 포함해 모델이 갖도록 장려하고 싶은 여러 성격 특성의 목록을 만들었다.
우리는 Constitutional AI 훈련의 "성격" 변형을 사용해 이러한 특성을 Claude에 훈련했다. 먼저 Claude에게 특정 성격 특성과 관련된 다양한 인간 메시지, 예를 들어 가치에 관한 질문이나 Claude 자신에 관한 질문을 생성하도록 요청한다. 그런 다음 Claude에게 성격 특성을 보여 주고, 각 메시지에 대해 자신의 성격에 부합하는 여러 응답을 생성하게 한다. 이어 Claude는 각 메시지에 대한 자신의 응답들을, 그것이 자신의 성격과 얼마나 잘 정렬되는지에 따라 순위화한다. 이렇게 만들어진 데이터로 선호 모델(preference model)을 훈련하면, 인간 상호작용이나 피드백 없이도 Claude가 자신의 성격 특성을 내재화하도록 가르칠 수 있다.
우리는 Claude가 자신의 특성을 결코 벗어나서는 안 되는 규칙처럼 다루기를 원하지 않는다. 다만 모델의 일반적인 행동이 그러한 특성을 더 많이 예시하도록 완만하게 유도하고 싶을 뿐이다.
이 훈련 파이프라인은 Claude가 직접 생성한 합성 데이터(synthetic data)만을 사용하지만, 특성을 구성하고 조정하는 일은 비교적 손이 많이 가는 과정이다. 인간 연구자들이 각 특성이 모델의 행동을 어떻게 바꾸는지 면밀히 확인하는 데 의존하기 때문이다.
Claude 성격의 미래
성격 훈련은 열린 연구 영역이며, 이에 대한 우리의 접근은 시간이 지나며 발전할 가능성이 크다. 이 분야는 AI 모델이 고유하고 일관된 성격을 가져야 하는지, 아니면 더 사용자화 가능해야 하는지, 그리고 AI 모델이 어떤 특성을 가져야 하고 가져서는 안 되는지를 결정할 때 우리에게 어떤 책임이 있는지와 같은 복잡한 질문을 제기한다.
많은 사람들이 Claude 3와의 대화가 더 몰입감 있고 흥미롭다고 보고했으며, 우리는 이것이 부분적으로 성격 훈련에 기인할 수 있다고 본다. 그러나 이것이 성격 훈련의 핵심 목표는 아니었다. 더 좋은 성격을 가진 모델은 더 몰입감 있을 수 있지만, 더 몰입감 있다는 것이 좋은 성격을 가졌다는 뜻은 아니다. 실제로 지나치게 몰입감을 주고자 하는 욕구는 모델이 가져서는 바람직하지 않은 성격 특성으로 보인다.
성격 훈련이 실제로 Claude 3와의 대화를 더 흥미롭게 만들었다면, 이는 성공적인 정렬 개입이 인간에게 AI 모델이 주는 가치를 줄이는 것이 아니라 늘릴 것이라는 우리의 관점과 일치한다.