"AI가 답하니 이유도 알 것"이라는 인상을 검증한다. "AI는 왜 그렇게 판단했는지 알 수 있나"를 한 질문으로 따라가, 거대 AI가 '설명하기 어려운 블랙박스'임을, 그리고 왜 '설명 가능성'이 중요한지 논증한다.
"AI가 답하니 이유도 알 것"이라는 인상을 6단계로 검증한다. 윗줄은 "AI는 왜를 설명할 수 있나"를 논증하고, 아랫줄은 설명이 필요한 곳과 XAI 노력으로 잇는다.
컴퓨터 프로그램은 보통 코드에 이유가 적혀 있다("점수 60 이상이면 합격"). 그래서 AI도 답을 주면 '왜 그렇게 답했는지'도 들여다보면 나올 것이라 기대한다. 하지만 거대 신경망은 다르다 — 답은 나오는데 그 이유가 어디에도 또렷이 적혀 있지 않다. 이것이 AI의 가장 불편한 특성이다.
거대 신경망의 판단은 수십억 숫자(가중치)의 상호작용에서 나온다(C3). 만든 사람조차 "왜 이 답인지" 정확히 못 짚는다. AI에게 "왜?"라고 물으면 그럴듯한 이유를 '지어'낼 뿐, 진짜 이유가 아닐 수 있다(B5 환각).
거대 AI의 특성은 한 단어로 블랙박스(black box) — 입력을 넣으면 출력은 나오지만, 그 속에서 어떻게 그 결정이 났는지는 들여다볼 수 없는 상자다. 우리는 무엇이 들어가고 무엇이 나오는지는 알지만, '왜'는 상자 안에 가려져 있다. 그래서 거대 AI를 쓴다는 건 '이유를 모른 채 답을 받는' 것이기도 하다.
규칙이 코드에 적혀 있어, 왜 그 답인지 한 줄씩 추적 가능. "이 조건 때문에 이 결과."
답은 정확해도 '왜'가 안 보인다. 수십억 숫자의 얽힘 → 사람이 따라갈 수 없음.
블랙박스가 되는 이유는 C3에서 봤다 — 신경망의 판단은 한두 개 규칙이 아니라 수십억 개 가중치의 미세한 상호작용에서 나온다. "고양이"라는 판단의 '이유'는 어느 한 곳에 적혀 있지 않고, 수많은 숫자에 잘게 흩어져 있다. 그래서 사람이 그 과정을 한 줄씩 따라갈 수가 없다 — 코드가 아니라 '학습된 숫자 덩어리'이기 때문이다.
"if 점수≥60 then 합격" — 이유가 또렷한 한 줄. 읽으면 안다.
판단이 수십억 숫자의 합작. "이 셋 때문"이라 짚을 수 없음 — 전체가 함께 작용.
블랙박스가 위험한 건, 중요한 결정에서 '왜'를 모르면 세 가지가 무너지기 때문이다. ① 차별·편향이 숨어 있어도 못 잡아내고(C21), ② 틀렸을 때 고칠 단서가 없고, ③ 잘못된 결정의 책임을 물을 수 없다. 대출 거절, 채용 탈락, 질병 진단, 재판 같은 사람의 삶이 걸린 결정에서 "이유는 모르지만 AI가 그랬어요"는 받아들이기 어렵다.
차별이 숨어 있어도 이유를 못 보니 잡아내지 못함(C21)
틀렸을 때 어디가 문제인지 모르니 개선 어려움
"왜 거절?"에 답 못 하면 책임·신뢰가 무너짐
"결과만 맞으면 그만"이라는 생각은 설명이 왜 필요한지를 놓친 것이다. 설명은 단순한 호기심이 아니라 — 신뢰(왜인지 알아야 믿는다), 개선(이유를 알아야 고친다), 책임(설명돼야 책임진다), 공정(차별을 잡아낸다)의 토대다. 특히 틀렸을 때나 사람 삶이 걸렸을 때, '왜'를 모르면 그 결정을 받아들일 수도, 바로잡을 수도 없다.
틀려도 가볍고 되돌릴 수 있는 일(영화 추천 등)은 이유를 몰라도 큰 문제 없다.
사람 삶이 걸린 결정(의료·대출·채용·재판). 여기선 '왜'가 정확도만큼 중요하다.
블랙박스가 AI의 근본 특성이라면, 그 속을 조금이라도 들여다보려는 노력이 XAI(설명가능 AI, eXplainable AI)다. 완벽히는 못 해도, '어떤 요인이 판단에 크게 작용했나'를 보여주려 한다. 결론은 분명하다 — 중요한 결정일수록 '정확함'만이 아니라 '설명 가능성'을 갖춘 AI를 써야 하고, 사용자는 '왜?'를 물을 권리가 있다.
| 오해 | 정확한 이해 |
|---|---|
| "답 주니 이유도 안다" | 거대 AI는 블랙박스 |
| "정확하면 됐다" | 중요할수록 설명 가능성 필수 |
| "이유는 못 본다" | XAI로 들여다보려 노력 + '왜' 요구 |
설명 가능성이 어디서 필수인지는 '위험의 크기'로 갈린다. 틀려도 가벼운 일은 정확함이면 충분하지만, 사람의 삶·권리가 걸린 결정은 '왜'가 없으면 받아들일 수 없다. 이 구분이 AI를 어디에 어떻게 쓸지의 핵심 기준이다.
XAI는 블랙박스 전체를 열진 못해도, '어떤 입력 요인이 결과에 크게 영향을 줬는지'를 보여주려 한다. 예컨대 사진 판단이라면 이미지의 어느 부분을 보고 결정했는지를 색으로 표시하고, 대출 거절이라면 어떤 항목이 크게 작용했는지를 알려준다. 완전한 설명은 아니지만, 판단의 '단서'를 제공해 검증·신뢰의 실마리를 준다.
"이 결정엔 어떤 입력이 크게 작용했나"를 보여줌(특성 중요도). 대출 거절의 주된 항목 등.
이미지·글에서 AI가 어디를 보고 판단했는지 색·하이라이트로(어텐션 시각화).
C17의 수확은 'AI의 판단에 왜?를 요구하는' 태도다. 특히 내 삶에 영향을 주는 AI 결정(대출·채용·평가)에 대해, "왜 그런 결정인지 설명해 달라"고 요구하는 것은 정당한 권리다. 설명할 수 없는 중요한 자동 결정은 의심하고 이의를 제기할 수 있어야 한다 — 이는 디지털 시민의 핵심 권리다(D3).
이 장은 "AI는 왜를 설명할 수 있나"라는 한 질문을 따라간 추론이었다. 출발은 "답 주니 이유도 안다"는 통념, 도착은 "블랙박스이며, 중요할수록 설명 가능성이 필수"라는 결론이었다.