RLHF

핵심 포인트

• 사람이 모델의 여러 답에 선호(어느 쪽이 더 나은가)를 매긴다.
• 그 선호를 보상으로 삼는 강화학습으로 모델을 사람이 원하는 방향으로 다듬는다.
• 더 정확하기보다 더 도움 되고 안전하며 예의 바른 답을 내도록 조정한다.

예시

같은 질문에 대한 두 답 중 사람이 더 나은 쪽을 고르면, 그 평가를 보상으로 모델이 그런 답을 더 내도록 학습한다.

관련 개념

역링크

• C20. 사전학습 vs 파인튜닝