"AI가 글을 사람처럼 읽는다"는 인상을 검증한다. "숫자만 아는 컴퓨터가 어떻게 언어를 다루나"를 한 질문으로 따라가, 그 답인 '토큰'이 AI의 한계·비용·실수를 설명함을 논증한다.
"AI가 글을 그대로 읽는다"는 인상을 6단계로 검증한다. 윗줄은 "AI가 언어를 어떻게 다루나"를 논증하고, 아랫줄은 토큰이 설명하는 현상들과 잘 쓰는 법으로 잇는다.
챗봇이 우리 글을 척척 알아들으니, AI도 사람처럼 글자와 단어를 그대로 읽고 이해한다고 생각하기 쉽다. 하지만 이 가정으로는 풀리지 않는 이상한 일들이 있다 — AI가 "strawberry에 r이 몇 개?" 같은 쉬운 글자 세기를 종종 틀리는 것이다. 사람처럼 읽는다면 왜 이런 실수를 할까?
똑똑한 AI가 'strawberry의 r 개수'를 틀리고, 글자 수를 잘못 세고, 거꾸로 쓰기를 어려워한다. 사람처럼 글자를 본다면 있을 수 없는 실수다. 무언가 다른 방식으로 글을 보고 있다는 신호다.
AI가 글을 보는 단위는 글자도 단어도 아닌 '토큰(token)'이다. 토큰은 자주 쓰이는 글자 덩어리(조각)로, 보통 한 단어가 1개 또는 몇 개의 토큰으로 쪼개진다. AI는 글을 받으면 먼저 토큰으로 자르고, 각 토큰을 숫자(번호)로 바꾼 뒤에야 처리한다. AI에게 언어는 '의미'가 아니라 '숫자가 된 토큰들의 줄'이다.
"인공지능은 재밌다"
["인공", "지능", "은", " 재밌", "다"]
[8762, 4519, 270, …]
토큰화의 이유는 단순하다 — 컴퓨터(신경망)는 오직 숫자만 계산할 수 있기 때문이다(C3). 그래서 글을 다루려면 먼저 숫자로 번역해야 한다. 글자 하나씩 번역하면 너무 길고, 단어 통째로 하면 종류가 너무 많다. 그 절충으로 '자주 쓰는 덩어리=토큰' 단위로 잘라 각 토큰에 번호를 매긴다. 이 번호들이 신경망의 입력이 된다.
| 단계 | 하는 일 | 예 |
|---|---|---|
| ① 토큰화 | 글을 토큰 조각으로 자름 | "바나나" → ["바", "나나"] |
| ② 번호 매기기 | 각 토큰 → 사전의 번호 | ["바","나나"] → [102, 887] |
| ③ 신경망 처리 | 숫자로 패턴·예측(C3·B5) | 다음 토큰 예측 → 글 생성 |
토큰을 알면 AI의 수수께끼 같은 실수들이 한꺼번에 풀린다. AI는 토큰 덩어리만 보고 그 안의 글자는 직접 보지 못하므로, 글자 단위 작업(개수 세기, 거꾸로 쓰기)에서 헤맨다. 토큰은 AI의 강점(빠른 언어 처리)을 주는 동시에 분명한 약점을 만든다.
AI에겐 'strawberry'가 몇 개의 토큰 덩어리로 보일 뿐, 그 안의 'r'들이 개별로 보이지 않는다. 사람이 단어를 통째 이미지로 기억할 때 글자 수를 헷갈리는 것과 비슷하다.
"글자 단위로 하면 부작용이 없잖아"라는 반론은 다른 비용을 못 본 것이다. 글자 단위는 정확하지만 너무 길어 비효율이고, 단어 단위는 짧지만 종류가 너무 많고 새 단어에 무력하다. 토큰(서브워드)은 그 사이의 절충 — 적당히 짧으면서 새 단어도 조각으로 처리할 수 있다.
| 단위 | 장점 | 단점 |
|---|---|---|
| 글자 | 종류 적음·정확 | 너무 길어 비효율 |
| 단어 | 짧고 의미 단위 | 종류 폭발·새 단어 무력 |
| 토큰(서브워드) | 적당히 짧고 새 단어도 조각으로 | 글자 단위 작업 약함 |
토큰은 작은 개념 같지만, AI를 실제로 쓸 때 부딪히는 거의 모든 한계를 설명하는 열쇠다. 한 번에 다룰 수 있는 글의 길이(맥락창), 사용 요금, 언어별 효율, 글자 세기 실수 — 전부 토큰 단위로 돌아가기 때문에 생긴다. 토큰 렌즈를 끼면 이 현상들이 당연한 결과로 보인다.
| 겉으로 보이는 현상 | 토큰으로 본 이유 |
|---|---|
| 글이 길면 잘리거나 못 받음 | 맥락창이 토큰 수로 제한 |
| 쓸수록 요금이 늘어남 | 요금이 토큰 수 기준 |
| 글자 세기·철자 실수 | 토큰 안 글자가 안 보임 |
토큰 렌즈가 진짜 쓸모 있는지, AI를 쓰며 자주 만나는 현상들을 토큰으로 설명해 보자. 막연하던 제약들이 "아, 토큰 때문이구나"로 또렷해진다.
AI가 한 번에 기억하는 양은 토큰 수로 정해진다. 너무 길면 앞부분을 잊거나 못 받는다.
유료 AI는 토큰 수만큼 과금. 긴 입력·출력일수록 비용↑. 같은 뜻도 길게 쓰면 비싸다.
한국어는 영어보다 토큰을 더 많이 쓰는 경향 → 같은 글이 더 길게 셈해진다(맥락·비용 불리).
서브워드 토큰이 표준이 된 결정적 이유는 '처음 보는 단어에도 무너지지 않는다'는 점이다. 단어 단위는 사전에 없는 신조어·오타·전문어를 만나면 막히지만, 서브워드는 그것을 익숙한 조각들의 조합으로 쪼개 처리한다. 효율(짧음)과 유연함(새 단어 대응)을 동시에 잡은 것이다.
"chatGPT", "킹받네" 같은 신조어가 사전에 없으면 '모르는 단어'로 처리 불능. 세상의 단어는 계속 늘어난다.
"unhappiness" → ["un","happi","ness"], 신조어도 조각으로 분해. 사전에 없어도 아는 조각으로 다룬다.
토큰 개념은 시험용 지식이 아니라 실전 도구다. 토큰의 작동을 알면, 긴 문서를 다룰 때·비용을 아낄 때·글자 작업을 시킬 때 현명하게 대처할 수 있다. AI의 한계를 알고 쓰는 사람과 모르고 쓰는 사람의 차이가 여기서 갈린다.
맥락창을 넘으면 앞을 잊는다 → 나눠서 주거나 핵심만 요약해 전달.
토큰이 곧 비용·시간 → 불필요하게 길게 쓰지 않기, 간결한 지시.
철자·개수 세기는 의심하고 검증. 필요하면 "한 글자씩 나눠서"라고 시킨다.
이 장은 개념을 나열한 게 아니라, "AI는 글을 어떻게 다루나"라는 한 질문을 따라간 추론이었다. 출발은 "사람처럼 글자를 읽는다"는 통념, 도착은 "토큰으로 쪼개 숫자로 다룬다"는 결론이었다.