오늘 당신이 AI에게 물어본 것들을 떠올려보자. 코드 오류의 원인, 법률 조항의 해석, 의학 정보, 혹은 취업 자기소개서. AI는 모든 질문에 막힘없이, 자신감 넘치는 어조로 답했을 것이다.

그런데 그 답이 틀렸다면?

2025년 9월 한 달 동안 전 세계 법원에서 AI가 만든 가짜 판례로 인한 징계 사례가 195건 이상 보고됐다. 전년 동기 대비 10배 이상 폭증한 수치다. 변호사들이 존재하지 않는 판례를 법원에 제출했고, 일부는 그것이 AI의 창작물임을 알고도 제출했다. 우리나라에서도 2025년 9월, 변호사가 제출한 의견서에 AI가 생성한 존재하지 않는 사건번호와 판결문이 포함된 사례가 보고됐다.

AI를 믿는다는 것의 대가가 이 정도다.

AI는 사실을 모른다 — 단지 그럴듯한 단어를 이어붙일 뿐이다

학계는 거대언어모델(LLM)을 '스토캐스틱 패럿(Stochastic Parrot)', 즉 확률적 앵무새라고 부른다. AI는 방대한 텍스트 데이터에서 "다음에 올 가장 확률 높은 단어"를 예측해 문장을 생성한다. 의미를 이해하거나 사실을 검증하는 과정은 없다.

"나는 캠핑을 좋아한다"고 말하는 AI는 캠핑을 경험한 적이 없다. 그저 캠핑과 관련된 문장들의 통계적 패턴을 재현할 뿐이다. 이 구조적 한계에서 '할루시네이션(Hallucination, 환각 현상)'이 발생한다. 모델이 확신 없는 사실에 대해 문법적으로 완벽하고 자신감 넘치는 문장을 생성할 때, 오류는 진실처럼 포장된다.

구글 CEO 순다르 피차이조차 "할루시네이션이 발생하는 이유와 명확한 해결책을 아직 찾지 못했다"고 공개적으로 인정했다. 이것은 버그가 아니라 이 기술의 본질이다.

아래는 AI 모델이 한국 수능 점수로 측정한 성능 진화와, 그럼에도 불구하고 환각 문제가 해결되지 않고 있음을 보여주는 두 가지 데이터다.

왜 인간은 AI의 거짓말에 속는가

AI가 틀렸어도 우리가 알아채지 못하는 데는 인지심리학적 이유가 있다.

첫 번째는 자동화 편향(Automation Bias)이다. 인간의 뇌는 에너지를 아끼기 위해 기계의 판단을 비판 없이 수용하는 인지적 지름길을 선택한다. 2024년 진행된 대규모 실험 연구(피험자 2,784명)에 따르면, AI를 긍정적으로 평가하는 사람일수록 오히려 AI의 오류를 더 잘 알아채지 못했다. 반대로 AI에 회의적인 태도를 가진 참가자들이 오류 탐지율이 더 높았다. 의심하는 자가 살아남는다.

두 번째는 유창성 편향(Fluency Effect)이다. AI는 문법적으로 완벽하고 논리적 구조를 갖춘 문장을 생성한다. 인간은 내용의 진위와 무관하게 문장이 유창하게 읽힐 때 이를 더 신뢰할 만한 정보로 오인한다. AI의 자신감 넘치는 어조가 비판적 방어 기제를 해제시키는 것이다.

한국 상황은 더 위험하다. 국민의 66.8%가 AI가 사회에 긍정적 영향을 준다고 믿고, 54.7%는 AI 출력 결과를 신뢰한다고 답했다. 낙관이 높을수록 환각의 파급력은 커진다.

(출처: 과학기술정보통신부 「2025년 인터넷 이용 실태 조사」)

법원도, 학술지도 뚫렸다

사법 시스템에서의 피해는 이미 현실이다. 캐나다 Ko v. Li 사건(2025 ONSC 6785)에서 변호사는 AI가 만든 가짜 판례를 법원에 제출했다가 형사상 법정 모독죄가 적용됐다. 더 심각한 것은 변호사가 초기에 AI 사용 사실을 부인했다는 점이다. 오류가 아니라 거짓말이 문제였다.

학술계도 흔들렸다. 세계 최고 AI 학회 NeurIPS 2025년 채택 논문 4,841편을 전수 조사한 결과, 100건 이상에서 환각 인용이 발견됐다. 존재하지 않는 저널명, 가상의 저자, 연결되지 않는 가짜 DOI 번호가 전문 리뷰어 3명 이상의 심사를 통과했다.

(출처: GPTZero NeurIPS 2025 분석 보고서; AI Hallucination Legal Database 2025)

정부도 법으로 대응하기 시작했다

정부는 2026년 1월 22일 인공지능기본법을 전면 시행했다. 생성형 AI 사업자에게는 AI 생성물임을 알리는 워터마크 표시를 의무화했으며, 위반 시 과태료 3,000만 원이 부과된다. 채용·대출·의료 등 11개 고영향 영역에서는 AI 결정의 근거를 5년간 보관하도록 했다.

사법부도 움직였다. 법원행정처는 2025년 10월 'AI 활용 허위 주장·증거 제출 대응 TF'를 구성했고, 2026년 2월부터는 사법정보공개포털을 통해 '허위 사건번호 확인 서비스'를 운영 중이다.

(출처: 대한민국 「인공지능기본법」 2026년 시행령; 법원행정처 AI 대응 TF 공식 발표)

의심하는 자가 살아남는다 — 5단계 검증법

AI가 제공한 정보를 그대로 쓰기 전에 다음 다섯 가지를 점검하는 습관이 필요하다.

먼저 수치·인용·판례·의학 정보처럼 팩트가 핵심인 진술을 골라낸다. 그 다음 AI가 제시한 출처가 실제로 존재하는지 Google Scholar나 정부 포털에서 직접 확인한다. 같은 사실이 독립적인 두 곳 이상에서 확인되는지 교차 검증한다. AI의 학습 데이터에는 시간 한계가 있으므로 최신 정보인지를 반드시 확인한다. 마지막으로 의료·법률·금융처럼 오류의 대가가 큰 영역에서는 반드시 인간 전문가에게 최종 검증을 요청한다.

기술이 정교해질수록 인간의 의심은 더 가치 있는 덕목이 된다.

AI는 도구다, 우리의 판단을 대신하는 승객이 아니다.

GPT-5는 한국 수능에서 100점을 받았다. 그러나 그 모델을 출시한 OpenAI조차 환각이 완전히 해결됐다고 말하지 않는다. 성능이 올라간다고 해서 신뢰를 무장해제해서는 안 된다.

AI가 틀렸다는 사실을 알아채는 그 찰나의 의구심. 그것이 우리가 기계에 종속되지 않고 디지털 문명의 주인으로 남을 수 있는 가장 확실한 증거다.

인용 출처 일람

▲ OpenAI 공식 발표 자료 및 GPT 모델별 수능 벤치마크 평가 (2022~2025)

▲ AI Hallucination Legal Database 「Global AI Hallucination in Courts Report」 (2025.9)

▲ Ko v. Li, 2025 ONSC 6785 (캐나다 온타리오 대법원 판결문)

▲ GPTZero 「NeurIPS 2025 Hallucination Citation Analysis」

▲ 과학기술정보통신부 「2025년 인터넷 이용 실태 조사」

▲ Microsoft 「2025 Global AI Adoption Report」

▲ 대한민국 인공지능기본법 및 시행령 (2026.1.22 시행)

▲ 법원행정처 AI 활용 허위 주장·증거 제출 대응 TF 발표자료 (2025.10)

▲ Emily M. Bender et al. "On the Dangers of Stochastic Parrots" (FAccT 2021) — 스토캐스틱 패럿 개념의 학술적 출처

▲ Goddard, K. et al. "Automation bias: a systematic review of frequency, effect mediators, and mitigators" (2012) — 자동화 편향 관련