"AI는 아는 걸로만 답한다"는 한계를 검증한다. "블랙박스라 환각도 잦은 AI에게 '근거 있는 답'을 시키려면?"을 한 질문으로 따라가, 답하기 전에 자료를 찾아 읽고 그 근거로 답하게 하는 RAG가 왜 환각을 줄이고 출처를 댈 수 있게 하는지 논증한다.
"AI는 아는 걸로만 답한다"는 한계를 6단계로 검증한다. 윗줄은 "근거 있는 답을 어떻게 시키나"를 논증하고, 아랫줄은 RAG가 잘 통하는 곳과 우리의 태도로 잇는다.
챗봇에 무엇을 물어도 척척 답하니, AI 머릿속에 세상 모든 지식이 들어 있다고 느낀다. 하지만 AI가 아는 것은 '학습할 때 본 데이터'까지다(C1). 학습 이후의 새 소식, 학습에 없던 우리 회사 내부 문서, 특정 분야의 깊은 자료는 애초에 머릿속에 없다. 없는 걸 물으면 — AI는 모른다 하기보다 '그럴듯하게 지어낸다'(B5 환각).
AI 지식은 학습한 데이터까지다. 그 뒤의 새 사실·내부 문서·전문 자료는 없을 수 있다. 없는 걸 물으면 "모른다"가 아니라 그럴듯한 거짓을 만들어 낸다(B5).
해법은 단순하고 강력하다 — AI가 답하기 전에, 질문과 관련된 실제 자료를 검색해 가져오고, 그 자료를 함께 보면서 답하게 한다. 이것이 RAG(검색 증강 생성, Retrieval-Augmented Generation)다. '머릿속 기억으로 답하는 AI'에서 '시험 전에 자료를 펼쳐 놓고 보며 답하는 AI(오픈북)'로 바꾸는 것이다.
오직 머릿속 기억으로만 답함 → 모르면 지어냄(환각). 출처를 댈 수 없음.
먼저 관련 자료를 찾아 읽고 그 근거로 답함 → 환각↓, "어디서 봤는지" 출처까지 제시.
RAG는 세 박자로 움직인다. ① 사용자의 질문이 들어오면, ② 그 질문과 관련된 문서를 자료 더미에서 검색해 몇 조각 가져오고, ③ 그 문서 조각을 질문과 함께 AI에게 넣어 주어 "이 자료를 근거로 답하라"고 시킨다. AI는 자기 기억이 아니라 '방금 받은 자료'를 보고 답하므로, 근거가 분명하고 출처를 댈 수 있다.
"우리 회사 휴가 규정은?"
자료 더미에서 관련 문서 몇 조각을 찾아옴
찾은 문서 + 질문을 같이 AI에게 전달
그 문서를 근거로 답 + 출처 제시
RAG는 강력하지만 '검색'에 의존하기에 그만큼 약점도 있다. ① 엉뚱한 자료를 찾아오면 답도 엉뚱해지고, ② 자료 더미에 아예 답이 없으면 못 찾으며, ③ 자료를 줘도 AI가 잘못 읽거나 여전히 지어낼 수 있다(환각이 0이 되진 않는다). 즉 RAG는 환각을 줄이는 장치이지 없애는 마법이 아니다 — '근거의 질'이 곧 '답의 질'이다.
엉뚱한 자료를 가져오면 답도 엉뚱해진다 (찾기 품질에 좌우)
자료 더미에 답이 없으면 근거를 못 만든다
자료를 줘도 오독·각색 가능 — 환각이 0은 아님(B5)
"모델을 키우면 다 안다"는 생각은 세 가지를 놓친다. ① 최신 정보 — 학습 이후의 일은 아무리 커도 모른다. ② 내부·전문 자료 — 우리 회사 규정, 특정 기관의 비공개 문서는 학습 데이터에 없다. ③ 출처 제시 — 머릿속에서 꺼낸 답은 "어디서 봤다"를 댈 수 없지만, RAG는 찾아온 문서를 출처로 보여준다. 크기로는 이 셋을 해결할 수 없다.
RAG의 의미는 분명하다 — 환각(B5)과 블랙박스(C17)의 시대에, AI를 '아는 척'에서 '찾아보고, 근거를 대며 답함'으로 끌어올린다. 완벽하진 않지만(검색 품질에 좌우), 최신·전문·내부 정보를 다루게 하고 무엇보다 "이 답의 근거는 이 문서"라고 출처를 제시하게 한다. 그래서 우리는 더 이상 답을 그냥 믿지 않고, '출처를 확인'할 수 있다.
| 오해 | 정확한 이해 |
|---|---|
| "AI는 다 안다" | 학습 시점까지만 — 최신·내부는 모름 |
| "모델만 키우면 된다" | 크기로 못 채움 — RAG로 근거 연결 |
| "답을 그냥 믿는다" | 출처를 확인하고 검증한다 |
RAG가 특히 강한 곳은 '머릿속만으론 부족하고, 출처가 중요한' 일이다. 빠르게 바뀌는 정보, 특정 기관·기업의 자료, 정확한 인용이 필요한 분야가 그렇다. 반대로 일반 상식·창작처럼 근거가 덜 중요한 일엔 굳이 RAG가 없어도 된다.
RAG의 검색은 옛 검색과 다르다. 단어가 똑같이 겹치는 문서가 아니라, '의미가 가까운' 문서를 찾는다. 이를 위해 모든 문서와 질문을 숫자 묶음(임베딩·C16)으로 바꿔, 의미가 비슷할수록 숫자도 가깝게 만든다. 그래서 "휴가"로 물어도 "연차·유급휴가" 문서를 찾아낸다. 이 '의미로 찾기'를 벡터 검색이라 한다.
같은 단어가 들어간 문서만 찾음. "휴가"로 물으면 "연차" 문서를 놓침.
뜻을 숫자 묶음으로 바꿔(C16) 의미가 가까운 문서를 찾음 — "휴가"↔"연차"도 연결.
C18의 수확은 'AI 답의 출처를 묻고 확인하는' 태도다. RAG 기반 답변은 보통 "이 문서에서"라며 근거를 보여준다 — 그렇다면 우리는 그 출처를 실제로 눌러 확인해야 한다. 출처가 없거나, 있어도 답과 안 맞으면 그 답은 의심해야 한다. '찾아본 답'이라도 '잘 찾았는지'는 사람이 검증한다(E3).
이 장은 "근거 있는 답을 어떻게 시키나"라는 한 질문을 따라간 추론이었다. 출발은 "AI는 다 안다"는 통념, 도착은 "찾아 읽고 근거·출처를 대게 하는 RAG"라는 결론이었다.