핵심 비유
AI는 '자신감 넘치는 외계인 친구'와 같다. 이 친구는 지구에 대한 엄청난 양의 책을 읽었지만 지구에 와 본 적이 없다. 그래서 질문하면 아는 것들을 조합해 그럴듯하게 대답하지만, 모르는 것을 물어봐도 절대 "몰라"라고 하지 않고 자신 있는 표정으로 틀린 답을 말한다. 또 그 친구가 읽은 책이 특정 나라·특정 집단 이야기 위주였다면, 세상을 그쪽으로만 바라보는 편견을 갖게 된다. AI 환각 = 자신 있게 지어낸 거짓말, AI 편향 = 편향된 책에서 만들어진 왜곡된 세계관.
핵심 포인트
- AI는 '진실'을 이해하는 것이 아니라 다음에 올 확률이 높은 단어를 예측하는 방식으로 작동한다. 이 구조 때문에 AI는 모르는 질문을 받아도 '모른다'고 말하는 대신, 그럴듯하게 들리는 답을 지어낸다 — 이것이 환각(Hallucination)이다.
- AI 환각의 실제 피해 사례: 미국 변호사가 ChatGPT가 만들어 낸 존재하지 않는 판례를 실제 법정 서류에 인용했다가 제재를 받았다. AI가 자신 있게 말해도 반드시 직접 확인해야 한다는 것을 보여주는 대표 사례다.
- AI 편향(Bias)은 학습 데이터의 불균형에서 비롯된다. 아마존의 채용 AI는 과거 남성 직원 이력서 위주로 학습해서 '여성'이라는 단어가 들어간 지원서에 낮은 점수를 줬다. AI는 데이터를 거울처럼 반영하기 때문에, 데이터 속 사회적 편견을 그대로 증폭시킬 수 있다.
- 얼굴인식 AI는 주로 밝은 피부를 가진 사람들의 이미지로 학습되어 어두운 피부 톤을 더 많이 틀리게 인식한다. 이처럼 AI 편향은 특정 집단에 불이익을 주는 실질적 피해로 이어진다.
- 환각과 편향을 줄이는 방법: (1) 여러 출처를 교차 검증한다 (2) AI에게 출처를 물어본다 (3) 구체적이고 명확한 질문을 던진다 (4) AI의 답변을 신뢰할 수 있는 공식 정보와 비교한다. AI를 쓰는 사람의 비판적 사고가 가장 중요한 안전장치다.
교사 팁
수업 도입에 '함정 질문 탐정 게임'을 활용한다. 교사가 ChatGPT나 Gemini에게 실제로 "세종대왕이 임진왜란을 지휘한 전략을 설명해줘"처럼 역사적으로 불가능한 질문을 던지고, AI가 자신 있게 답하는 장면을 학급 전체에 보여준다. 그런 다음 모둠별로 학생들이 직접 AI에게 함정 질문(존재하지 않는 사건, 불가능한 인물 조합 등)을 만들어 시험하고, AI가 틀렸는지 팩트체크해 '가장 황당한 환각 사례'를 발표하게 한다. 이 활동은 AI에 대한 무조건적 신뢰를 깨고 비판적 리터러시를 체험으로 익히게 하는 효과가 있다. 편향 수업으로는 AI 이미지 생성기에서 '의사', '간호사', '엔지니어'를 입력해 나오는 이미지가 어떤 성별·인종으로 치우치는지 관찰하는 5분 활동을 연결하면 환각과 편향 두 개념을 한 차시에 자연스럽게 이어갈 수 있다.
참고 자료
- AI 환각(루시네이션), 인공지능이 만들어내는 '거짓의 진실'ko / article
디지털소사이어티가 운영하는 한국어 기사. AI 환각의 정의, 실제 사례(존재하지 않는 판례 인용, 의료 오진), 해결 방안을 읽기 쉬운 한국어로 설명한다. 중학생 수준에 가장 적합한 국내 자료.
- AI 할루시네이션이란 무엇인가요? — Google Cloudko / article
Google이 제공하는 한국어 공식 설명 페이지. 환각의 정의·원인·유형을 구조적으로 정리하고, '사실인 척하는 AI'의 구체적 예시(잘못된 통계, 가짜 인용 등)를 포함한다. 신뢰할 수 있는 기업 출처라는 점에서 수업 자료로 사용하기 좋다.
- When AI Gets It Wrong: Addressing AI Hallucinations and Bias — MIT Sloanen / article
MIT Sloan이 교육자용으로 제작한 영문 가이드. 환각과 편향의 원인, 실제 피해 사례(변호사의 가짜 판례 인용, 성별 편향 이미지 생성기), 학생이 실천할 수 있는 검증 방법 5가지를 체계적으로 다룬다. 교사 배경 지식 보충에 적합.
- Teaching AI Bias: Hands-on Classroom Activities for K-12 — SchoolAIen / article
중학교 수업에서 즉시 쓸 수 있는 활동 2종(편향 탐정 45분, 채용 알고리즘 60분)을 단계별로 안내한다. 아마존 채용 AI의 성별 편향 사례를 학생 체험으로 재구성한 수업 설계가 포함되어 있다.
- How Teachers Can Turn AI Hallucinations into Lessons in Critical Thinking — Mediumen / article
교사가 AI 환각을 비판적 사고 수업의 도구로 바꾸는 방법을 소개하는 실용 에세이. 학생이 직접 AI에게 '함정 질문'을 던지고 답을 팩트체크하는 탐정 활동 아이디어와 수업 흐름이 담겨 있다.