개념
환각
AI가 그럴듯하지만 사실과 다른 내용을 만들어 내는 현상.
핵심 포인트
- AI가 사실이 아닌 내용을, 사실인 것처럼 그럴듯하게 만들어 내는 현상이다.
- 모델은 "맞는 답"이 아니라 "그럴듯한 다음 말"을 생성하기 때문에 생긴다.
- 존재하지 않는 논문·인물·수치를 자신 있게 말하기도 한다.
- RAG로 근거 자료를 함께 주거나, 출력을 사람이 확인해 줄인다.
예시
읽지도 않은 책의 줄거리를 물으면, AI가 그럴듯한 가짜 줄거리를 지어낼 수 있다.
한 걸음 더
환각은 모델이 "거짓말을 하려는" 것이 아니라, 사실 여부와 무관하게 가장 그럴듯한 문장을 만드는 구조에서 비롯된다.