개념
사전학습
대량의 일반 데이터로 모델의 기본 언어·지식 능력을 먼저 갖추는 단계. 파인튜닝의 토대가 된다.
핵심 포인트
- 대량의 일반 텍스트로 언어·세상 지식의 기본기를 먼저 익히는 단계다.
- 특정 과제용 정답 라벨 없이, 다음 말 맞히기 같은 방식으로 스스로 학습한다.
- 이 토대 위에 파인튜닝을 얹어 특정 분야로 특화시킨다.
예시
책·웹 문서를 폭넓게 학습해 일반 언어 능력을 갖춘 뒤, 그 모델을 의료·법률 등으로 추가 훈련한다.
한 걸음 더
사전학습은 비용이 크고 한 번에 길게 하는 반면, 파인튜닝은 그 결과를 가져다 짧게 덧입히는 단계다.