할루시네이션 (환각 현상)
생성형 AI가 사실이 아니거나 출처가 없는 정보를 마치 진실인 것처럼 그럴듯하게 지어내어 답변하는 현상을 의미합니다.
할루시네이션(Hallucination, 환각 현상)은 대규모 언어 모델 같은 생성형 AI가 사실이 아니거나 근거가 없는 내용을 마치 진실인 것처럼 당당하게 답변하는 현상을 뜻합니다. 사용자가 질문했을 때 없는 판례를 지어내거나 실존하지 않는 상호, 왜곡된 인물 정보를 그럴듯한 문장으로 꾸며내는 경우가 대표적입니다.
이 현상은 AI가 인간처럼 악의를 품고 거짓말을 하는 것이 아닙니다. 인공지능이 실제 사실 관계를 이해하고 판정하기보다는, 주어진 단어 뒤에 확률적으로 가장 자연스럽게 이어질 표현을 계산하여 조합하는 과정에서 발생합니다.
일상에서 마주치는 할루시네이션 사례
예를 들어 마포구에서 작은 베이커리 카페를 운영하는 자영업자가 SNS 홍보 문구를 작성하기 위해 AI에게 매장 소개글을 부탁하는 상황을 떠올려 볼 수 있습니다. 주소와 대표 메뉴만 입력했는데, 모델이 1998년 프랑스 유학파 파티시에가 설립한 역사 깊은 빵집이라며 전혀 사실이 아닌 내력을 정교하게 덧붙여 문장을 완성하는 경우가 있습니다.
또한 대학생이 과제 작성을 위해 학술 자료를 찾을 때, 실존하는 유명 교수의 이름 뒤에 그가 작성한 적 없는 논문 제목과 가짜 학술지 권호수를 자연스럽게 만들어 내기도 합니다. 문법이 완벽하고 문맥이 매끄러울수록 사용자는 거짓임을 눈치채기 어렵습니다.
인공지능이 왜곡된 답변을 만드는 이유
할루시네이션이 일어나는 주된 원인은 언어 모델의 작동 원리와 데이터의 한계에 있습니다. 모델은 세상의 모든 최신 지식을 담은 백과사전이 아니라 방대한 텍스트의 언어 패턴을 학습한 도구이기 때문입니다.
질문자가 잘못된 전제를 깔고 질문을 던질 때도 위험이 커집니다. 예를 들어 조선 시대 세종대왕이 만든 스마트폰의 명칭은 뭐야?라고 물었을 때, 질문의 오류를 지적하는 대신 질문자의 의도에 맞춰 그럴듯한 궁중 스마트폰 설정을 창작해 버리는 형태입니다. AI는 모른다고 답변하는 것보다 어떤 방식으로든 요구된 분량과 형태를 채우도록 훈련받는 경향이 있어 이런 현상이 일어납니다.
업무 중 생성형 AI 답변 검증하는 5단계
- 검증 가능한 핵심 사실 추출: 고유명사, 날짜, 기관명, 규정 조항 등 객관적으로 확인해야 하는 정보를 본문에서 먼저 골라냅니다.
- 공식 출처와 대조: 정부 포털, 지자체 공고문, 회사 공식 규정 등 신뢰할 수 있는 원본 문서를 열어 AI가 제시한 수치나 명칭이 일치하는지 직접 확인합니다.
- 인용문과 원문 대조: 따옴표로 인용된 문구나 법조문은 글자 단위로 원문과 비교합니다. AI는 원문의 뉘앙스나 핵심 조건을 미묘하게 왜곡하기 쉽습니다.
- 수치 계산 재확인: AI가 작성한 견적서나 보고서 내 합계, 세금 계산 등은 반드시 엑셀이나 계산기로 직접 다시 검산합니다.
- 동일 모델에 되묻지 않기: AI에게 이 내용이 진짜 맞아?라고 되묻는 행위는 검증이 아닙니다. 모델은 자신의 이전 오답을 방어하기 위해 또 다른 거짓말을 보탤 수 있습니다.
프롬프트 작성으로 오류 줄이기
완벽히 제거할 수는 없지만 프롬프트를 명확히 설계하면 할루시네이션을 크게 줄일 수 있습니다. 외부 자료를 함께 제공하면서 반드시 아래 제공된 본문 내용에만 근거해서 답할 것, 본문에 없는 내용은 모른다고 답하고 절대로 추측하지 말 것 같은 명시적인 제약 조건을 거는 방식이 매우 효과적입니다.
자주 묻는 질문
AI가 거짓말을 하는 이유가 무엇인가요?
AI는 사실 여부를 검증하며 글을 쓰는 것이 아니라, 입력된 문맥에 이어질 가장 확률 높은 단어들을 조합해 문장을 완성하기 때문에 모르는 내용도 그럴듯하게 지어냅니다.
할루시네이션을 100% 없애는 방법이 있나요?
현재 기술 수준에서 생성형 AI의 환각을 완전히 없애는 방법은 없습니다. 다만 검색 증강 생성(RAG) 기술을 쓰거나 질문에 엄격한 제약 조건을 주어 빈도를 크게 낮출 수는 있습니다.
모델에게 진짜 확실하냐고 물어보면 검증이 되나요?
아닙니다. 동일한 AI에게 확신을 요구하면 자신이 지어낸 거짓 정보를 정당화하기 위해 또 다른 가짜 근거를 덧붙일 위험이 있으므로 반드시 외부 공신력 있는 자료로 직접 확인해야 합니다.
