"그냥 큰 챗봇"이라는 인상을 검증한다. "LLM의 '거대'는 무엇을 뜻하나"를 한 질문으로 따라가, 그것이 '규모가 질을 바꾼 것'임을, 그러나 본질은 여전히 다음 토큰 예측임을 논증한다.
"그냥 큰 챗봇"이라는 인상을 6단계로 검증한다. 윗줄은 "'거대'가 무엇을 바꿨나"를 논증하고, 아랫줄은 LLM의 활용과 한계, 잘 쓰는 법으로 잇는다(B5와 짝).
LLM을 예전 챗봇이나 검색엔진의 '좀 더 큰 버전'쯤으로 보는 사람이 많다. "데이터를 더 많이 넣었을 뿐"이라는 것이다. 하지만 그렇게 보면 설명이 안 되는 일이 있다 — 번역만 배운 적 없는데 번역을 하고, 코딩을 따로 안 배웠는데 코드를 짠다. 단순히 '큰 챗봇'이라면 왜 가르치지 않은 일까지 할까?
LLM은 '다음 단어 맞히기' 하나만 훈련했는데(B5), 번역·요약·코딩·추론을 따로 안 배우고도 해낸다. 단순히 '큰 챗봇'이라면 일어날 수 없는 일 — 크기가 무언가 다른 것을 만들어 냈다는 신호다.
LLM의 '거대'가 특별한 건, 단지 양이 늘어난 게 아니라 양이 일정 선을 넘자 질이 바뀌었기 때문이다. 모델·데이터·연산을 거대하게 키우자, 작은 모델엔 없던 능력(번역·추론·맥락 이해)이 가르치지 않았는데 나타났다. 이를 창발(emergence)이라 한다 — "양의 변화가 질의 변화를 낳는다"의 AI 버전이다.
크면 조금 더 잘한다 — 문장이 매끄러워지고 실수가 준다. 여기까진 '큰 챗봇'.
일정 규모를 넘자 안 가르친 능력이 생겼다 — 예시 몇 개만 보고 새 일 하기, 단계적 추론, 번역. 크기가 새 능력을 열었다.
LLM에서 '거대'한 것은 세 가지다 — 매개변수(가중치)가 수십억~수천억 개(C3의 다이얼), 학습 데이터가 인터넷 규모의 방대한 텍스트, 그리고 그걸 돌리는 연산이 막대하다. 이 셋이 함께 커져야 능력이 따라온다. B4의 '데이터·연산·기법'이 언어로 옮겨온 것이다.
| 무엇이 | 거대함 | 역할 |
|---|---|---|
| 매개변수 | 수십억~수천억 개 | 패턴을 저장하는 가중치(C3) |
| 데이터 | 인터넷 규모 텍스트 | 배울 예시 — 세상 지식이 담김(B5) |
| 연산 | 막대한 GPU·시간·전기 | 그 거대함을 학습시키는 힘 |
거대함은 능력만 주지 않는다. 막대한 비용·전기가 들고, B5에서 본 환각(그럴듯한 거짓)이 여전하며, 학습한 시점에 지식이 고정돼 최신 정보를 모르고, 데이터의 편향까지 거대하게 흡수한다(C21). 크다고 똑똑하기만 한 게 아니라, 크기만큼 위험과 비용도 커진다.
최신성·환각을 줄이려 검색 연결(RAG, C18)로 외부 자료를 붙이고, 편향·안전을 위해 사람 피드백 정렬(RLHF)로 다듬는다. 거대함의 약점을 다른 기술로 메운다.
"그럼 키우기만 하면 되겠네"라는 생각은 절반만 맞다. 규모가 성능을 끌어올린 건 분명하지만, 데이터의 질, 정렬(RLHF), 효율적 구조가 함께 받쳐줘야 진짜 쓸모 있는 모델이 된다. 게다가 무한정 키우는 데는 데이터·전기·비용의 한계가 있다. 그래서 최근 흐름은 '무조건 크게'에서 '영리하게'로 옮겨가고 있다.
같은 방식이면 대체로 클수록 더 잘한다(스케일링). B4·B5의 핵심 동력이었다.
LLM을 정확히 보면 — '다음 토큰 예측'이라는 단순한 본질 위에, 거대화로 다재다능한 능력이 창발한 모델이다(B5+C5). 강력하지만 본질이 예측기이기에 환각·편향·구식 정보라는 한계가 따라온다. 그래서 LLM은 '아는 척 잘하는 천재'가 아니라 '검증이 필요한, 아주 빠르고 박식한 초안 작성기'로 봐야 한다.
| 과장된 이해 | 정확한 이해 |
|---|---|
| "다 아는 똑똑한 존재" | 거대화된 다음 토큰 예측기 |
| "크니까 다 맞다" | 거대해도 환각·편향·구식 가능 |
| 답 = 정답 | 답 = 검증할 초안(E3) |
LLM의 본질(거대한 토큰 예측기)을 알면 무엇에 강하고 무엇에 약한지가 또렷해진다. 언어를 다루고 패턴을 잇는 일엔 탁월하지만, 정확한 사실·최신 정보·논리적 정밀함이 필요한 일엔 검증이 필수다.
"더 큰 모델이 더 잘한다"는 스케일링(규모 법칙)은 여러 연구로 관찰된 사실이다. 다만 일정 규모에서 능력이 '갑자기' 나타나는 것처럼 보이는 '창발'은 해석에 주의가 필요하다 — 진짜 도약인지, 측정 방식이 만든 착시인지 학계에서 논쟁 중이기 때문이다. 그래서 정직하게는 "규모가 능력을 키운다(확실), 갑작스러운 창발(논쟁 중)"이다.
데이터·모델·연산을 함께 키우면 대체로 성능이 오른다(스케일링 법칙). B4부터 일관된 동력.
특정 규모에서 능력이 '갑자기' 켜진다는 창발 — 일부는 측정 척도 때문에 그렇게 보일 뿐이라고 본다. 단정은 금물.
LLM을 잘 쓰는 핵심은 그 본질(예측기)에서 나온다. 예측기는 주어진 맥락을 보고 다음을 잇기 때문에, 맥락을 충분히·명확히 줄수록 좋은 답을 낸다. 그리고 답은 그럴듯해도 틀릴 수 있으니 반드시 검증한다. 이 두 가지가 LLM 활용의 핵심 기술이다.
"무엇을·왜·어떤 형식으로"를 구체적으로. 예시를 보여주면 더 잘한다.
사실·숫자·출처는 직접 확인. 유창함에 속지 않는다(B5).
한 번에 안 되면 되묻고 다듬는다. 초안→완성은 내 몫.
이 장은 LLM을 신비화하지 않고, "'거대'가 무엇을 바꿨나"라는 한 질문을 따라간 추론이었다. 출발은 "그냥 큰 챗봇"이라는 통념, 도착은 "거대화로 능력이 창발한 토큰 예측기"라는 결론이었다.