생성형 AI 환각 현상

환각 현상은 인공지능 모델이 실제 데이터에 기반하지 않은 내용을 생성하는 현상이다. 영어로는 '할루시네이션(Hallucination)'이라 하며, 인공지능이 모르는 것을 마치 아는 것처럼 자신 있게 말하는 상황을 의미한다. 인공지능은 문장을 생성할 뿐 스스로 검증하지 않기 때문에, 사용자는 겉보기에 논리적인 문장 속에 숨겨진 허위 정보를 사실로 오인할 위험이 있다. 이는 비즈니스 환경에서 브랜드 신뢰도를 저하시키고 잘못된 의사결정을 유도하는 리스크로 작용한다.

환각 현상은 생성형 AI의 근본적인 작동 방식인 통계적 특성에서 기인한다.

• 통계적 확률 예측: 거대언어모델은 대량의 데이터를 학습하여 문맥상 다음에 올 확률이 가장 높은 단어를 예측한다. 이 과정에서 사실 여부와 관계없이 '그럴듯한' 단어 조합을 우선시한다.
• 학습 데이터의 한계: 모델이 학습하지 않은 최신 정보나 존재하지 않는 데이터에 대해 질문을 받으면, 학습된 기존 패턴을 부적절하게 활용하여 빈칸을 추측으로 채운다.
• 프롬프트의 모호성: 사용자의 질문이 불명확하거나 유도 심문 형태일 경우, 모델은 논리적 완결성을 갖추기 위해 허구의 정보를 생성하기도 한다.

생성형 AI가 만들어내는 환각은 크게 두 가지 유형으로 구분된다.

1. 모순된 문장(Sentence Contradiction): 생성된 문장이 외형적으로는 타당해 보이지만, 실제 지식이나 상식과 상충하는 명백한 오류를 포함하는 경우이다.
2. 프롬프트와의 모순(Prompt Contradiction): 사용자가 입력한 구체적인 지시 사항이나 질문의 맥락을 무시하고 이와 상충하는 답변을 내놓는 경우이다.

다양한 생성형 AI 서비스에서 환각 현상이 보고된 바 있다.

• 역사적 허구 생성: 사용자가 '세종대왕의 맥북프로 던짐 사건'을 묻자, 초기 챗GPT는 세종대왕이 훈민정음 작성 중 노트북을 던졌다는 상세한 허구 내용을 답변했다.
• 검색 엔진 오류: 구글의 'AI 오버뷰'는 "하루에 최소 하나의 작은 돌을 먹어야 한다"는 황당한 답변을 하거나, "최초의 무슬림 미국 대통령은 버락 오바마"라는 잘못된 정보를 제공하여 논란이 되었다.
• 허위 인용: 2023년 연구에 따르면 ChatGPT가 생성한 의료 관련 참고문헌 115개 중 실제 정확한 것은 7%에 불과했으며, 47%는 완전히 조작된 문헌이었다.

환각 현상을 억제하기 위해 다양한 기술적 대안이 활용된다.

• 검색 증강 생성(RAG): AI가 학습 데이터에만 의존하지 않고, 외부의 신뢰할 수 있는 지식 베이스나 최신 자료를 실시간으로 검색하여 답변의 근거로 활용하는 기술이다.
• 프롬프트 엔지니어링: 질문을 구체화하거나 모델에게 "모르는 것은 모른다고 답하라"는 지침을 주어 오류를 줄인다.
• 데이터 정제 및 강화 학습: 학습 데이터의 품질을 높이고, 인간의 피드백을 통해 모델이 사실에 기반한 답변을 하도록 교정하는 방식(RLHF)이 사용된다.