개념
토큰
C4
C5
AI가 문장을 계산하기 쉽게 나누는 글자 또는 단어 조각.
문장을 토큰 조각으로 나눈 뒤 숫자로 바꾸는 과정
안녕하세요
안녕
하세
요
8231
4012
77
토큰 개념도
핵심 포인트
AI가 문장을 계산하기 쉽게 나누는 글자 또는 단어 조각.
관련 개념
LLM
파라미터
역링크
C4. 토큰 AI가 말을 쪼개 보는 법
C5. LLM 거대언어모델 파라미터
닫기