Fine-tuning 미세 조정

미세 조정은 이미 학습한 모델을 추가 데이터와 목적에 맞춰 더 학습하는 과정입니다. 모델이 답하는 방식이나 특정 작업의 수행 능력을 조정하는 데 사용하며 검색 결과를 매번 입력에 붙이는 RAG와는 다른 접근입니다.

훈련 예제와 학습 목표에 따라 모델의 일부 또는 전체 매개변수를 갱신합니다. 무엇을 잘하도록 만들지와 무엇을 유지할지를 먼저 정하고 학습 데이터와 평가 데이터를 나눕니다. 단순히 문서를 많이 넣는 것만으로 최신 사실의 정확한 기억이나 출처 제시가 보장되지는 않습니다.

같은 종류의 문장을 정해진 형식으로 분류하거나 특정 답변 형식을 일관되게 출력하도록 학습할 수 있습니다. 자주 바뀌는 제품 재고나 권한별 사내 문서를 참조해야 한다면 검색 시스템과의 조합을 검토합니다. 학습에 사용한 자료의 접근 권한도 별도로 관리해야 합니다.

전체 미세 조정은 넓은 범위의 가중치를 바꾸고 PEFT는 상대적으로 작은 부분을 학습합니다. LoRA는 PEFT에 포함되는 한 방법입니다. 정답 예제를 쓰는 지도 학습과 선호 비교를 사용하는 DPO 및 인간 피드백 기반 강화학습도 목적과 데이터 형식이 다릅니다.

과적합, 기존 능력 저하, 민감정보의 학습 및 평가 데이터의 혼입에 주의합니다. 훈련 손실 감소만으로 업무 품질을 판단하지 않고 별도 평가와 실제 적용 조건을 확인합니다. 모델의 라이선스와 배포 조건은 학습 방법과 별개의 문제입니다.

이 절의 용어: PEFT / Parameter-Efficient Fine-Tuning / 매개변수 효율적 미세 조정

PEFT는 모델 전체 대신 일부 매개변수나 추가 모듈을 중심으로 학습 비용을 줄이는 미세 조정 방법의 범주입니다. LoRA와 같은 저랭크 갱신이나 다른 어댑터 방식이 포함될 수 있습니다. PEFT 자체를 단일 알고리즘이나 특정 파일 형식으로 취급하지 않습니다. 학습 비용 감소가 필요한 전체 기저 모델의 저장 공간까지 없앤다는 뜻은 아닙니다.

이 절의 용어: DPO / Direct Preference Optimization / 직접 선호 최적화

DPO는 같은 입력에 대한 선호 응답과 비선호 응답 등의 비교 정보를 이용해 모델을 조정하는 방법입니다. 별도 보상 모델을 먼저 학습하고 강화학습을 반복하는 전형적 RLHF 구성과 절차가 다릅니다. 선호 데이터의 기준과 품질이 결과에 영향을 주며 사람이 좋아하는 응답이 반드시 사실에 맞는 것은 아닙니다. 일반 지도 미세 조정과도 학습 목적 및 데이터 형식을 구분합니다.

이 절의 용어: RLHF / Reinforcement Learning from Human Feedback / 인간 피드백 기반 강화학습

RLHF는 인간의 평가나 선호를 활용해 모델의 행동을 조정하는 강화학습 접근입니다. 전형적인 언어 모델 구성에서는 선호 자료로 보상 모델을 만들고 그 신호로 정책을 조정합니다. 사람의 모든 판단이 직접 실시간으로 들어가는 방식만을 뜻하지는 않습니다. 선호 편향과 보상 신호의 한계가 있으므로 정확성 및 안전성 평가를 별도로 수행합니다.

huggingface.co: hf

huggingface.co: lora