개념
토큰
AI가 문장을 계산하기 쉽게 나누는 글자 또는 단어 조각.
핵심 포인트
- AI는 글자를 통째로 보지 않고, 토큰이라는 작은 조각으로 잘라서 처리한다.
- 영어는 보통 단어나 단어 일부가, 한국어는 더 잘게 쪼개진 조각이 토큰이 된다.
- 입력·출력 길이와 사용 비용이 보통 토큰 수로 계산된다.
예시
"안녕하세요"는 한 단어처럼 보여도, 모델 내부에서는 여러 개의 토큰으로 나뉘어 계산된다.
한 걸음 더
같은 문장이라도 언어나 모델에 따라 토큰 수가 달라진다 — 그래서 "글자 수"가 아니라 "토큰 수"로 길이를 잰다.