핵심 비유
AI 블랙박스는 '자동 채점 선생님'과 같다. 시험지를 넣으면 점수가 나오는데, 왜 이 점수인지 선생님이 아무 설명도 안 해준다면? 점수가 틀렸을 때 이의 제기도 못 하고, 공부 방향도 모른다. XAI는 '왜 이 문제를 틀렸는지 표시해 주는 채점 기호'처럼, AI의 판단 근거를 눈으로 볼 수 있게 만드는 기술이다.
핵심 포인트
- AI도 이유를 모른다: 딥러닝은 수백만 개의 숫자가 얽힌 계산이라 설계자도 '왜 이 답을 냈는지' 정확히 설명하기 어렵다. 이것이 블랙박스 문제다.
- 신뢰의 위기: 의사가 AI 진단을 받았을 때 '왜 이 병이라고 했나요?'라고 물어도 AI가 대답 못하면 그 진단을 믿고 수술할 수 있을까? 신뢰가 흔들린다.
- 불공정 결정의 위험: AI가 대출 거부·취업 탈락·보석 기각을 결정할 때 이유를 설명 못하면, 편견(bias)이 숨어 있어도 아무도 알아차릴 수 없다.
- XAI(설명가능 AI)는 '유리박스' 만들기: 히트맵·그래프 등으로 AI가 어느 부분을 보고 판단했는지 사람이 확인할 수 있게 해준다. 예: 폐 X-ray에서 병변 의심 부위를 빨갛게 표시.
- AI를 믿으려면 설명이 필요: EU는 2024년부터 AI법으로 고위험 AI(의료·채용·사법)에 설명 의무를 부과. 설명할 수 없는 AI는 사용 자체를 금지하는 방향으로 세계가 움직이고 있다.
교사 팁
수업 도입 시 학생들에게 "유튜브 추천 알고리즘이 왜 이 영상을 추천했는지 알 수 있나요?"라고 질문하라. 대부분 모른다고 답한다. 이어서 "만약 유튜브가 여러분에게 나쁜 영상만 계속 추천해도 왜 그런지 알 수 없다면 어떻게 해야 할까?"로 연결하면 블랙박스 문제를 체감시킬 수 있다. 이후 PAIR Explorables 사이트의 인터랙티브 데모를 모둠별로 탐색하게 하고, '우리 반에서 XAI가 꼭 필요한 AI 서비스 TOP 3'를 뽑아 발표하는 활동으로 마무리하면 효과적이다.