"AI는 분야별로 따로"라는 인상을 검증한다. "AI가 글·그림·소리를 함께 다룰 수 있나"를 한 질문으로 따라가, 멀티모달이 '같은 의미 공간으로 연결'하는 통합임을, 그러나 본질은 여전히 패턴임을 논증한다.
"AI는 분야별로 따로"라는 인상을 6단계로 검증한다. 윗줄은 "여러 감각을 함께 다루는 법"을 논증하고, 아랫줄은 활용과 'AGI로 가는 길'로 잇는다(E장 예고).
앞 장들을 보면 글 AI(C5), 그림 AI(C8), 소리 AI(C9)가 각각이라, AI마다 한 가지만 전문이라 여기기 쉽다. 멀티모달도 '여러 AI를 그냥 붙여 놓은 것'쯤으로 본다. 하지만 사람은 사진을 보면서 동시에 이해하고 말로 설명한다. AI도 이렇게 '하나로 통합'될 수 있다면, 그건 단순 결합과 다른 도약이다.
요즘 AI는 사진을 보고("이 그림 설명해줘"), 그림 속 글자를 읽고, 도표를 보고 질문에 답한다 — 한 모델이. 여러 AI를 번갈아 쓰는 게 아니라 '함께' 처리한다. 단순 결합이 아니다.
멀티모달(multimodal) AI는 여러 종류의 입력·출력(글·그림·소리·영상)을 하나의 모델이 함께 이해하고 만드는 것이다. 핵심은 '붙이기'가 아니라 '통합' — 사진을 보고 글로 답하고, 글을 읽고 그림을 그리고, 도표와 질문을 한꺼번에 처리한다. 사람이 감각을 종합해 세상을 이해하듯, AI도 여러 모드를 가로질러 일하게 된 것이다.
글 AI + 그림 AI를 각자 돌려 결과를 이어 붙임. 서로의 내용을 진짜로 연결하진 못함.
하나의 모델이 글과 그림을 같은 공간에서 다뤄, "이 사진의 이 부분을 설명"처럼 가로질러 연결한다.
비결은 단순하면서 강력하다 — 글이든 그림이든 소리든, 모두 '같은 의미 공간의 숫자(임베딩)'로 바꾸는 것이다. 그러면 "강아지"라는 글과 강아지 사진이 그 공간에서 가까운 위치에 놓인다. 종류가 달라도 '의미가 비슷하면 가깝게' 배치되니, AI가 글과 그림을 한 자리에서 비교·연결할 수 있다.
→ 숫자(의미 좌표)
→ 숫자(의미 좌표)
둘이 가까이 놓임 = 연결
멀티모달은 더 넓고 자연스럽지만 본질은 변하지 않는다 — 여전히 패턴 매칭이지 진짜 이해가 아니다(C3). 사진을 '설명'해도 의미를 아는 게 아니라 그럴듯한 글을 예측할 뿐이고, 그래서 환각·편향이 여러 모드에 걸쳐 일어난다. 게다가 한 종류(예: 소리)가 약하면 전체가 흔들리고, 모드를 합치는 과정에서 새 오류도 생긴다.
멀티모달이라고 '더 똑똑'한 건 아니다 — '더 넓게 다룰' 뿐이다. 앞 장들의 분별(검증·의심)이 그대로, 오히려 더 필요하다.
"여러 감각을 다루니 사람 같은 진짜 지능"이라는 생각은 넓이와 깊이를 혼동한 것이다. 멀티모달은 다룰 수 있는 범위가 넓어진 것이지, 이해의 깊이가 생긴 게 아니다. 사람의 지능은 감각을 합치는 것 이상이다 — 상식·의도·자기 인식·진짜 의미가 있다. 멀티모달은 인상적이지만 여전히 '넓은 패턴 매칭'이고, 일반 지능(AGI·E장)과는 거리가 있다.
다룰 수 있는 입력·출력 종류가 늘었다. 더 자연스럽고 편리해졌다.
진짜 이해·의식·상식. 감각을 합쳐도 '의미를 아는 마음'이 생기진 않는다(C3 의인화 금지).
멀티모달 AI를 정확히 보면 — 여러 감각을 같은 의미 공간으로 통합한, 더 넓고 자연스러운 AI이고, 사람 같은 일반 지능(AGI)으로 가는 한 걸음이다. 하지만 본질(패턴)과 한계(이해 없음·환각·편향)는 그대로다. 이로써 C장(원리·분야)을 닫고, "그럼 AI는 어디까지 갈까?"라는 미래(E장)의 질문으로 넘어간다.
| 오해 | 정확한 이해 |
|---|---|
| "분야별로 따로" | 같은 임베딩으로 통합 |
| "여러 감각 = 더 똑똑" | 더 넓을 뿐, 한계는 그대로 |
| "사람 같은 진짜 지능" | AGI로 가는 한 걸음, 도착 아님(E) |
멀티모달의 통합은 추상이 아니라, 이미 쓰는 편리함이다. 여러 감각을 함께 다루니 '말로 설명하기 어려운 것'도 보여주며 쓸 수 있고, 특히 접근성에 큰 도움이 된다.
사진·도표·화면을 보여주며 "이거 뭐야?", "이 문제 풀어줘"
시각장애인에게 주변을 말로 설명, 영상에 자막·해설
글→그림, 그림→글, 음성→글→그림 등 자유로운 변환
멀티모달이 강력한 건, 현실의 정보가 본래 여러 감각으로 동시에 들어오기 때문이다. 요리 영상은 보이고·들리고·자막이 있고, 대화는 말과 표정과 몸짓이 함께다. 한 감각만 보면 절반만 안다. 여러 모드를 합치면 한 모드가 놓친 걸 다른 모드가 메워 더 풍부하게 다룬다 — 사람이 오감을 종합하듯.
자막 없는 외국어 영상, 그림 없는 설명서 — 정보가 빠진다.
보면서 들으면 서로 보완한다. 도표+설명, 영상+자막 — 멀티모달이 이걸 한다.
멀티모달이 주는 마지막 교훈은 '능력의 넓이'와 '진짜 이해'를 구분하는 눈이다. AI가 보고·듣고·말하는 걸 다 하니 사람 같아 보이지만, 그것은 '할 수 있는 일이 많아진 것'이지 '세상을 이해하게 된 것'이 아니다. 이 구분이 AI를 과장 없이 보고, 미래(AGI)를 차분히 판단하는 힘이다(E장으로 이어짐).
다룰 수 있는 종류·작업이 많아짐. 편리·자연스러움 ↑
진짜 이해·상식·의도는 안 생김. 여전히 패턴(C3).
이 장은 "AI가 여러 감각을 함께 다루나"라는 한 질문을 따라간 추론이었다. 출발은 "분야별로 따로"라는 통념, 도착은 "같은 공간으로 통합된, AGI로 가는 한 걸음"이라는 결론이었다 — 그리고 C장(원리·분야)을 닫는다.