C21

AI 환각과 편향

수업 교안(슬라이드) 열기새 창

핵심 비유

AI는 '자신감 넘치는 외계인 친구'와 같다. 이 친구는 지구에 대한 엄청난 양의 책을 읽었지만 지구에 와 본 적이 없다. 그래서 질문하면 아는 것들을 조합해 그럴듯하게 대답하지만, 모르는 것을 물어봐도 절대 "몰라"라고 하지 않고 자신 있는 표정으로 틀린 답을 말한다. 또 그 친구가 읽은 책이 특정 나라·특정 집단 이야기 위주였다면, 세상을 그쪽으로만 바라보는 편견을 갖게 된다. AI 환각 = 자신 있게 지어낸 거짓말, AI 편향 = 편향된 책에서 만들어진 왜곡된 세계관.

핵심 포인트

  • AI는 '진실'을 이해하는 것이 아니라 다음에 올 확률이 높은 단어를 예측하는 방식으로 작동한다. 이 구조 때문에 AI는 모르는 질문을 받아도 '모른다'고 말하는 대신, 그럴듯하게 들리는 답을 지어낸다 — 이것이 환각(Hallucination)이다.
  • AI 환각의 실제 피해 사례: 미국 변호사가 ChatGPT가 만들어 낸 존재하지 않는 판례를 실제 법정 서류에 인용했다가 제재를 받았다. AI가 자신 있게 말해도 반드시 직접 확인해야 한다는 것을 보여주는 대표 사례다.
  • AI 편향(Bias)은 학습 데이터의 불균형에서 비롯된다. 아마존의 채용 AI는 과거 남성 직원 이력서 위주로 학습해서 '여성'이라는 단어가 들어간 지원서에 낮은 점수를 줬다. AI는 데이터를 거울처럼 반영하기 때문에, 데이터 속 사회적 편견을 그대로 증폭시킬 수 있다.
  • 얼굴인식 AI는 주로 밝은 피부를 가진 사람들의 이미지로 학습되어 어두운 피부 톤을 더 많이 틀리게 인식한다. 이처럼 AI 편향은 특정 집단에 불이익을 주는 실질적 피해로 이어진다.
  • 환각과 편향을 줄이는 방법: (1) 여러 출처를 교차 검증한다 (2) AI에게 출처를 물어본다 (3) 구체적이고 명확한 질문을 던진다 (4) AI의 답변을 신뢰할 수 있는 공식 정보와 비교한다. AI를 쓰는 사람의 비판적 사고가 가장 중요한 안전장치다.

관련 개념

환각

교사 팁

수업 도입에 '함정 질문 탐정 게임'을 활용한다. 교사가 ChatGPT나 Gemini에게 실제로 "세종대왕이 임진왜란을 지휘한 전략을 설명해줘"처럼 역사적으로 불가능한 질문을 던지고, AI가 자신 있게 답하는 장면을 학급 전체에 보여준다. 그런 다음 모둠별로 학생들이 직접 AI에게 함정 질문(존재하지 않는 사건, 불가능한 인물 조합 등)을 만들어 시험하고, AI가 틀렸는지 팩트체크해 '가장 황당한 환각 사례'를 발표하게 한다. 이 활동은 AI에 대한 무조건적 신뢰를 깨고 비판적 리터러시를 체험으로 익히게 하는 효과가 있다. 편향 수업으로는 AI 이미지 생성기에서 '의사', '간호사', '엔지니어'를 입력해 나오는 이미지가 어떤 성별·인종으로 치우치는지 관찰하는 5분 활동을 연결하면 환각과 편향 두 개념을 한 차시에 자연스럽게 이어갈 수 있다.

참고 자료