Open AI, Hallucination 관련 새 논문 공개

 

 

오픈AI가 할루시네이션과 관련한 새 논문 "Why language models hallucinate"을 공개했습니다.

기존의 정확도 중심으로 테스트하는 AI 벤치마크가 모델이 모른다라고 답하는 경우에 대해 인센티브를 주지 않았기 때문에, Hallucination의 확률이 크게 올라갔다는 점을 이야기 하고 있습니다.
AI가 모른다라고 답변하는 경우에 대해서도 일정 수준의 인센티브를 주는 것으로 학습을 시켜보니 Hallucination이 크게 줄어들더라 하는 내용입니다.

쉽게 예를 들면, 맞추면 1점, 틀리면 0점의 기존 벤치마크 방식이 할루시네이션의 원인 중에 하나라는 것이고, 모른다에 0.5점을 주는 것으로 학습을 시켜두면 할루시네이션이 많이 줄어든다는 것이죠.

물론 그렇다고 하더라도 할루시네이션이 100% 없어지는 것은 아니며, 이는 LLM의 한계로 보인다는 것 같습니다.

아래는 OpenAI 블로그 글 “Why language models hallucinate”의 한국어 요약입니다.

---

요약 정리

1. 환각(hallucination)이란 무엇인가?

• 환각은 언어 모델이 생성하는, 그럴듯하지만 사실이 아닌 진술을 말합니다. 예를 들어, OpenAI가 자신들에게 유명한 연구자의 박사 논문 제목이나 생일을 물었을 때, 모델이 여러 개의 서로 다른 답을 자신 있게 제시했지만, 모두 틀렸던 사례가 있습니다.(OpenAI)

2. 환각의 원인

• **이진 분류 오류(binary classification errors)**로 발생하는 통계적 현상으로, 잘못된 진술이 사실과 구별되지 못하면 환각이 발생할 수 있습니다.(arXiv, arXiv)
• 훈련 및 평가 환경의 설계가 환각을 촉진합니다. 많은 벤치마크는 모델이 불확실할 때 “추측”하더라도 정답을 유추해 내는 방식에 높은 점수를 주기 때문에, 모델이 “잘 모를 경우에 추측해 답변하는” 경향을 강화합니다.(arXiv)

3. 비교 연구의 시사점

• 이 환각 현상은 미스터리한 특성이 아니라 훈련 방식에 의해 예측 가능한 결과로, **“모델에게 추측을 장려하지 말고 불확실성에 대한 표현을 점수화해야 한다”**는 구조적인 접근이 필요합니다.(arXiv, AI Insider)

4. 대안 및 완화 방안

• RAG(Retrieval-Augmented Generation) 같은 방식으로 모델을 외부 지식 기반에 연동하면, 모델이 생성한 텍스트에 출처를 제공하고 정확도를 높일 수 있는 전략이 가능합니다.(Financial Times, Wikipedia)
• 평가 방식의 변경을 통해, 모델이 “잘 모르는 상황”에 적절히 “잘 모르겠다”고 응답하는 것을 장려해야 합니다.(AI Insider, The Wall Street Journal)

5. 환각은 불가피한가?

• 일부 연구에서는 환각이 언어 모델의 본질적인 한계이며, 완전히 제거하는 것은 불가능하다고 보고합니다. 학술적으로 모형이 모든 참 함수를 배울 수 없다는 점 등이 이를 뒷받침합니다.(arXiv)
• 파이낸셜 타임즈 등의 보도에 따르면, 주요 AI 기업들은 환각을 줄이기 위한 다양한 기술을 적극 도입 중이지만, **"모델 설계의 근본적인 확률적 특성상 완전 제거는 불가능하다"**는 발언도 있습니다.(Financial Times)

---

결론

OpenAI 연구진은 언어 모델의 환각을 단순한 오류가 아닌, 훈련과 평가 방식의 통계적·구조적 영향으로 보고 있습니다. 이를 줄이기 위해 “추측보다 불확실성 표현”을 장려하는 평가 체계로의 전환과 외부 지식 기반 연계 등 기술적·사회기술적 변경이 필요합니다. 그러나 환각 현상이 완전히 사라지기는 어렵다는 점도 명확히 인식해야 합니다.

 

 

출처:

https://openai.com/index/why-language-models-hallucinate/