할루시네이션
-
Open AI, Hallucination 관련 새 논문 공개Milkyway/IT Planet 2025. 9. 8. 18:30
오픈AI가 할루시네이션과 관련한 새 논문 "Why language models hallucinate"을 공개했습니다.기존의 정확도 중심으로 테스트하는 AI 벤치마크가 모델이 모른다라고 답하는 경우에 대해 인센티브를 주지 않았기 때문에, Hallucination의 확률이 크게 올라갔다는 점을 이야기 하고 있습니다.AI가 모른다라고 답변하는 경우에 대해서도 일정 수준의 인센티브를 주는 것으로 학습을 시켜보니 Hallucination이 크게 줄어들더라 하는 내용입니다.쉽게 예를 들면, 맞추면 1점, 틀리면 0점의 기존 벤치마크 방식이 할루시네이션의 원인 중에 하나라는 것이고, 모른다에 0.5점을 주는 것으로 학습을 시켜두면 할루시네이션이 많이 줄어든다는 것이죠.물론 그렇다고 하더라도 할루시네이션이 100% 없..