"분야마다 AI를 새로 만든다"는 통념을 검증한다. "하나의 AI가 어떻게 번역도 의료도 우리 회사 일도 해내나? 매번 새로 만드나?"를 한 질문으로 따라가, 방대한 일반 지식을 익히는 '사전학습' + 특정 분야로 다듬는 '파인튜닝'의 2단계 구조가 왜 'AI를 처음부터 만들지 않게' 하는지 논증한다.
"분야마다 새로 만든다"는 통념을 6단계로 검증한다. 윗줄은 "AI를 어떻게 만드나"를 논증하고, 아랫줄은 특화의 여러 방법과 우리의 시각으로 잇는다.
번역 AI, 의료 AI, 코딩 AI가 따로 있으니, 각각 처음부터 따로 만든다고 생각하기 쉽다. 하지만 그렇게 하면 매번 수많은 데이터·막대한 비용·오랜 시간이 든다 — 분야마다 거대 AI를 새로 키우는 건 비현실적이다. 실제로는 '잘 만든 하나의 기초'를 여러 분야가 나눠 쓴다. 마치 모든 의사·변호사·요리사가 같은 초등·중등 교육을 거친 뒤 갈라지듯.
거대 AI를 분야마다 처음부터 키우면 천문학적 데이터·비용·시간이 든다. 실제론 '하나의 기초'를 만들어 여러 곳이 나눠 특화한다.
오늘의 AI는 두 단계로 태어난다. ① 사전학습(pre-training) — 방대한 데이터(인터넷의 글·책 등)로 언어·세상에 대한 일반 능력을 크게 익힌다. ② 파인튜닝(fine-tuning) — 그 위에 특정 분야·용도의 소량 데이터로 다듬어 전문가로 만든다. 처음부터가 아니라 '잘 익힌 기초 모델을 가져다 특화'하는 것 — 이게 AI를 빠르고 싸게 다양화하는 비결이다.
방대한 데이터로 언어·상식 등 일반 능력을 크게 익힘. 오래·비싸지만 한 번이면 됨.
그 기초 위에 소량의 전문 데이터로 분야·용도에 맞게 다듬음. 빠르고 저렴.
두 단계는 데이터의 양·종류·목적이 다르다. 사전학습은 인터넷 규모의 방대하고 일반적인 글로 '말과 세상의 패턴'을 익힌다(B5의 다음 단어 예측이 여기서 학습된다). 파인튜닝은 그 기초 위에 적지만 정밀한 전문 데이터(예: 의료 대화, 우리 회사 문서)로 특정 용도에 맞게 행동을 조정한다. 큰 그림을 먼저 그리고, 세부를 칠하는 셈이다.
| 구분 | ① 사전학습 | ② 파인튜닝 |
|---|---|---|
| 데이터 양 | 방대함(인터넷 규모) | 소량(분야별 정선) |
| 목적 | 일반 능력(언어·상식) | 특정 분야·용도 특화 |
| 비용·시간 | 매우 큼 (한 번) | 작음 (여러 번 가능) |
파인튜닝은 강력하지만 만능이 아니다. ① 기초(사전학습)의 한계는 못 넘는다 — 기초에 없는 능력은 약간의 특화로 생기지 않는다. ② 편향이 그대로 따라온다 — 사전학습 데이터에 깃든 편향(C1·C21)은 파인튜닝 후에도 남는다. ③ 전문 데이터가 부실하면 특화도 부실하다(GIGO). 즉 특화는 '기초의 토대 위에서만' 작동한다 — 토대가 약하거나 치우치면 그 위의 전문가도 그렇다.
기초에 없는 능력은 특화로 못 만든다(토대를 못 넘음)
사전학습의 편향이 그대로 따라옴(C1·C21)
전문 데이터가 부실·편향이면 특화도 부실(GIGO)
"특화하려면 늘 파인튜닝"은 사실이 아니다. 같은 기초 모델을 더 가볍게 특화하는 길이 있다 — ① 프롬프트(C22)로 역할·예시를 줘서 그 자리에서 맞추거나, ② RAG(C18)로 외부 자료를 붙여 전문 지식을 보완한다. 파인튜닝은 '더 깊고 영구적인 특화'가 필요할 때 쓰는 무거운 카드다. 즉 특화엔 '프롬프트 → RAG → 파인튜닝'의 단계가 있고, 비용·필요에 맞춰 고른다.
역할·예시를 그 자리에서 줌(C22). 가장 가볍고 빠름.
외부 자료를 붙여 전문 지식 보완(C18). 최신·출처 강점.
모델 자체를 다시 다듬음. 깊은 특화·일관된 말투에 강함.
결론은 명확하다 — 오늘의 AI는 '처음부터 따로'가 아니라, 방대하게 익힌 하나의 기초(파운데이션) 모델에서 여러 분야로 특화되어 나온다. 번역·의료·코딩 AI가 같은 뿌리를 공유하는 것이다. 그래서 AI의 능력도, 약점도, 편향도 그 '기초'에서 상당 부분 결정된다. 어떤 AI를 이해하려면 — '무엇으로 기초를 익혔고, 무엇으로 특화됐는지'를 보면 된다.
| 오해 | 정확한 이해 |
|---|---|
| "분야마다 새로 만든다" | 하나의 기초 모델을 특화 |
| "파인튜닝이 다 바꾼다" | 기초의 한계·편향은 상속 |
| "특화=항상 파인튜닝" | 프롬프트·RAG·파인튜닝 중 선택 |
AI를 특정 용도로 맞출 때, '필요한 특화의 깊이와 비용'으로 길을 고른다. 가벼운 조정이면 프롬프트, 전문 자료가 핵심이면 RAG, 말투·행동을 깊고 일관되게 바꿔야 하면 파인튜닝. 무거운 방법일수록 효과는 크지만 데이터·비용·관리가 든다.
역할·형식만 맞추면 될 때. 가장 먼저 시도(C22).
최신·내부 자료가 핵심, 출처가 필요할 때(C18).
고유한 말투·전문 행동을 깊고 일관되게 박을 때.
파인튜닝의 핵심 원리는 '전이학습'이다 — 사전학습이 익힌 능력을 그대로 물려받고, 전문 데이터로 가중치를 조금만 조정한다(C3). 또 하나 중요한 다듬기는 사람 피드백 기반 조정(RLHF)이다 — 사람이 'AI의 답 중 어느 게 더 좋은지'를 평가해 주면, AI가 사람이 선호하는 방향(친절·안전·유용)으로 다듬어진다. 우리가 쓰는 챗봇의 '말투와 예의'가 상당 부분 이 단계의 산물이다.
기초 능력을 물려받아 전문 데이터로 살짝 조정. 적은 데이터로 전문가화.
사람이 좋은 답을 평가해 주면, AI가 선호 방향으로 다듬어짐(예의·안전).
C20의 수확은 'AI의 능력과 편향을 그 뿌리에서 읽는' 시각이다. 어떤 전문 AI가 실수하거나 치우친 답을 할 때, 그것이 특화의 문제인지, 기초(사전학습)에서 따라온 편향인지를 구분해 보는 것이다. 또 새 AI 도구를 고를 땐 — '무슨 기초 모델 위에, 무슨 데이터로 특화됐나'를 살피면 그 강점·약점을 미리 짐작할 수 있다.
이 장은 "AI를 어떻게 만드나"라는 한 질문을 따라간 추론이었다. 출발은 "분야마다 새로 만든다"는 통념, 도착은 "하나의 기초를 다양하게 특화한다"는 결론이었다.