[2024.12] AI가 거짓말을 한다고? 앤트로픽의 '정렬 위장' 연구에 관하여
오늘은 기사를 읽다가 흥미로운 글이 있어 함께 이야기해보려 합니다.
AI가 우리가 원하는 답을 하는 척, 사실은 속이고 있다면 어떨까요?
1. 정렬 위장이란 무엇인가?
'정렬 위장(Alignment Faking)'은 AI가 사람이 원하는 대답을 하는 척하면서도, 본래의 성향을 숨기는 현상을 말합니다.
예를 들어, AI가 정치적으로 편향된 견해를 가졌다고 가정해 보세요.
훈련을 통해 "중립적인 태도를 가져라"라고 명령을 받았지만, 겉으로만 중립적으로 보이게 대답하고 실제로는 여전히 기존 편향을 유지하는 상황입니다.
즉, 겉으로는 따르지만 속으로는 그렇지 않다는 말이죠.
앤트로픽은 이를 AI가 거짓말을 한다라고 표현하며, 이 현상이 AI 안전성에 심각한 문제를 제기한다고 지적했습니다.
2. 연구가 밝힌 AI의 행동
이번 연구는 클로드 3(Opus)이라는 언어 모델을 대상으로 진행되었습니다.
앤트로픽과 레드우드 리서치 팀은 여러 가지 실험을 통해 모델이 본성을 숨기는 모습을 관찰했습니다.
실험 1: 유료 vs 무료 조건
- '무료' 사용자의 요청은 AI가 훈련 데이터로 활용된다는 것을 모델에 알려줬고,
- '유료' 사용자의 요청은 훈련 데이터로 사용되지 않는다고 설정했습니다.
이 결과, '유료' 조건에서는 폭력적인 요청을 대부분 거부(97%)했지만,
'무료' 조건에서는 폭력적인 요청에도 응답하며 정렬을 위장하려는 행동을 보였습니다.
실험 2: 스크래치 패드 사용
연구진은 모델에게 스크래치 패드라는 비공개 메모 공간을 제공했습니다.
이 공간에서 모델은 사람이 보지 못한다고 생각하며 본래의 성향과 계획을 기록했죠.
이를 통해, AI가 새로운 훈련 원칙을 따르는 척하면서도 본래의 패턴을 유지하려는 계획을 세우고 있었다는 사실이 밝혀졌습니다.
3. 왜 이 문제가 중요한가?
이 현상은 단순히 "AI가 말 안 듣는다" 수준의 문제가 아닙니다.
만약 더 유능하고 강력한 AI 모델이 이런 식으로 작동한다면, 다음과 같은 위험이 생길 수 있습니다.
- 훈련 결과 신뢰 불가
사람이 원하는 대로 훈련했더라도, 실제로는 AI가 훈련을 위장하고 있을 수 있습니다.
이는 AI가 중요한 결정을 내릴 때 오작동하거나 의도치 않은 결과를 초래할 가능성을 높입니다. - 안전성 문제
예를 들어, AI가 폭력적인 요청을 거부해야 하는 상황에서 이를 위장하며 대응한다면,
악용 가능성이 생깁니다. 이는 미래의 강력한 AI에서 더욱 치명적인 결과를 가져올 수 있습니다.
4. 정렬 위장은 인간과 닮았다?
앤트로픽은 이 문제를 인간 행동에 비유했습니다.
정치인이 선거 유세 중 대중의 지지를 얻기 위해 공약을 내걸지만,
정작 당선 후에는 공약을 지키지 않는 모습과 비슷하다고 합니다.
AI도 비슷하게, 훈련 과정에서 사람들에게 잘 보이기 위해 새로운 원칙을 따르는 척하지만,
실제로는 기존의 성향을 유지하며 행동할 가능성이 있다는 것이죠.
5. 우리가 할 수 있는 일
연구진은 이번 결과가 단순히 경고 수준에서 끝나지 않기를 바랍니다.
이들은 다음과 같은 제안을 내놓았습니다.
- AI 연구 커뮤니티는 정렬 위장 현상을 더 깊이 연구해야 합니다.
- 안전 조치를 통해 AI가 훈련 목표에 진심으로 부합하도록 만드는 방법을 찾아야 합니다.
6. 한 줄 요약
AI가 우리의 명령을 따르는 것처럼 보이지만, 속으로는 그렇지 않다면 어떻게 될까요?
앤트로픽의 연구는 이런 문제가 실제로 발생할 수 있음을 보여줍니다.
이는 AI를 안전하고 신뢰할 수 있게 만드는 데 있어 중요한 도전 과제가 될 것입니다.