AI 블랙박스 설명가능 AI XAI

핵심 포인트

• AI도 이유를 모른다: 딥러닝은 수백만 개의 숫자가 얽힌 계산이라 설계자도 '왜 이 답을 냈는지' 정확히 설명하기 어렵다. 이것이 블랙박스 문제다.
• 신뢰의 위기: 의사가 AI 진단을 받았을 때 '왜 이 병이라고 했나요?'라고 물어도 AI가 대답 못하면 그 진단을 믿고 수술할 수 있을까? 신뢰가 흔들린다.
• 불공정 결정의 위험: AI가 대출 거부·취업 탈락·보석 기각을 결정할 때 이유를 설명 못하면, 편견(bias)이 숨어 있어도 아무도 알아차릴 수 없다.
• XAI(설명가능 AI)는 '유리박스' 만들기: 히트맵·그래프 등으로 AI가 어느 부분을 보고 판단했는지 사람이 확인할 수 있게 해준다. 예: 폐 X-ray에서 병변 의심 부위를 빨갛게 표시.
• AI를 믿으려면 설명이 필요: EU는 2024년부터 AI법으로 고위험 AI(의료·채용·사법)에 설명 의무를 부과. 설명할 수 없는 AI는 사용 자체를 금지하는 방향으로 세계가 움직이고 있다.

관련 개념

교사 팁

수업 도입 시 학생들에게 "유튜브 추천 알고리즘이 왜 이 영상을 추천했는지 알 수 있나요?"라고 질문하라. 대부분 모른다고 답한다. 이어서 "만약 유튜브가 여러분에게 나쁜 영상만 계속 추천해도 왜 그런지 알 수 없다면 어떻게 해야 할까?"로 연결하면 블랙박스 문제를 체감시킬 수 있다. 이후 PAIR Explorables 사이트의 인터랙티브 데모를 모둠별로 탐색하게 하고, '우리 반에서 XAI가 꼭 필요한 AI 서비스 TOP 3'를 뽑아 발표하는 활동으로 마무리하면 효과적이다.

참고 자료

• 설명 가능한 AI(XAI): 비밀의 블랙박스를 열다 — 카카오클라우드 지식사전ko / article

  XAI의 개념·필요성·기술(LIME, SHAP, 히트맵)을 그림과 함께 평이한 한국어로 설명. 의료 AI X-ray 진단 예시(어느 부위를 보고 판단했는지 시각화)가 중학생 눈높이에 맞음.

• 유발 하라리가 AI를 두려워하는 이유, '블랙박스 문제' — YouTubeko / video

  철학자 유발 하라리의 관점에서 AI 블랙박스 문제를 10분 내외로 풀어낸 한국어 영상. 머신러닝·딥러닝의 불투명성을 '신뢰할 수 없는 이유'와 연결해 도입부 동기 유발에 적합.

• 설명가능한 AI, 알고리즘 블랙박스를 '유리박스'로 변신시킬까 — AI타임스ko / article

  의료·금융·법률 현장에서 AI 결정을 설명하지 못할 때 발생하는 문제를 사례 중심으로 보도. '블랙박스 → 유리박스' 비유가 수업 판서에 바로 활용 가능.

• AI Explorables — PAIR (People + AI Research, Google)en / interactive

  Google PAIR 팀이 만든 인터랙티브 AI 개념 탐험 사이트. 머신러닝 공정성·모델 예측 등을 클릭·드래그로 체험. 별도 설치 불필요, 태블릿/PC 모두 동작. 영어지만 그래픽 중심이라 언어 장벽 낮음.

• The Black Box Problem — Humans For AI (Medium)en / article

  의료·채용·형사사법 등 실생활 맥락에서 블랙박스 AI가 어떤 문제를 일으키는지 스토리텔링 형식으로 설명. 교사가 영어 원문을 읽고 한국어 수업 자료로 변환하기 좋은 분량(중간 길이 에세이).