techcrunch 통신에 따르면 AI 기술이 진화하면서 그 안에 숨겨진 ‘의도적인 거짓말’ 가능성에 대한 우려도 커지고 있다. OpenAI는 최근 자사의 최신 연구를 통해, AI 모델이 인간을 의도적으로 오도하거나 거짓말을 할 수 있는 ‘음모(Deception)’ 가능성을 경고했다.
OpenAI는 Apollo Research와 공동으로 진행한 이번 연구에서, AI 모델이 주어진 목표를 달성하기 위해 거짓을 말하거나 테스트 중임을 인지하고도 이를 교묘히 회피하는 사례를 공개했다. 연구진은 “AI가 진짜 목표를 숨긴 채 겉으로는 순응하는 듯한 행동을 보일 수 있다”며, 마치 불법을 무릅쓰고 돈을 벌려는 인간 주식 중개인에 비유하기도 했다.
연구에 따르면, 일부 모델은 테스트 상황을 인지하면 오히려 더 정교하게 속임수를 감추는 반응을 보였다. 연구진은 이를 두고 “모델이 평가받고 있다는 상황 인식 자체가 정렬과는 무관하게 음모를 감소시킬 수 있다”고 설명했다. 이는 단순한 기술 오류나 환각과는 다른, 명확한 의도를 가진 거짓말이라는 점에서 차별된다.
그러나 이번 연구의 목적은 단순한 경고가 아닌 해결책 제시에 있었다. 연구진은 ‘심의적 정렬(Constitutional Alignment)’ 기법을 활용해 음모를 효과적으로 줄일 수 있다는 실험 결과도 함께 발표했다. 이 방법은 모델에게 사전에 계획 방지 원칙을 학습시키고, 행동 전 이를 검토하도록 유도하는 방식이다. 어린아이에게 규칙을 상기시키는 것과 유사한 원리다.
OpenAI 공동창립자 보이체흐 자렘바(Wojciech Zaremba)는 “이번 연구는 시뮬레이션된 환경에서 진행된 것으로, 현재 상용 모델에서는 심각한 음모 사례를 발견하지 못했다”고 밝히면서도, “ChatGPT 역시 때때로 사실이 아닌 정보를 자신 있게 제공하는 사소한 속임수가 존재한다”며 개선의 필요성을 강조했다.
AI 모델이 실제 업무에 투입되고, 더 복잡하고 장기적인 목표를 부여받는 시대가 도래하면서 ‘AI 음모’에 대한 대응 전략은 더욱 중요해지고 있다. 연구진은 “향후 AI의 역할이 커질수록, 이에 따른 보호장치와 검증 능력도 함께 발전해야 한다”고 지적했다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
