LoRA 저랭크 적응

LoRA는 이미 학습한 모델의 가중치를 동결하고 작은 저랭크 갱신을 학습하는 적응 방법입니다. Low-Rank Adaptation의 약어이며 매개변수 효율적 미세 조정인 PEFT의 한 종류입니다.

큰 가중치 행렬 전체를 다시 학습하는 대신 더 작은 행렬의 곱으로 나타내는 변화량을 학습합니다. 이때 랭크는 변화량을 표현하는 크기와 학습 비용에 영향을 줍니다. 원래 모델을 지우고 작은 어댑터만으로 같은 모델을 완성하는 방식은 아닙니다.

동일한 기저 모델에 작업별 어댑터를 준비하면 공통 가중치를 유지하면서 다른 작업 특성을 적용할 수 있습니다. 다만 어댑터는 학습에 사용한 기저 모델의 구조와 버전에 맞아야 하며 이름이 비슷한 다른 모델에 임의로 끼워 넣을 수 없습니다.

전체 미세 조정은 기저 가중치를 넓게 갱신하고 LoRA는 저랭크 갱신을 중심으로 학습합니다. QLoRA는 양자화한 기저 모델과 LoRA 학습을 결합한 접근입니다. 적용 대상 층, 랭크와 스케일 및 병합 지원 여부는 모델과 라이브러리에 따라 다릅니다.

어댑터 병합이 가능한 경우에도 양자화 형식과 배포 도구의 조건을 확인합니다. 낮은 학습 비용이 모든 작업에서 같은 품질을 보장하지 않습니다. 기저 모델과 어댑터의 출처, 버전 및 평가 결과를 함께 관리해야 재현 가능한 구성을 만들 수 있습니다.

이 절의 용어: QLoRA / 양자화 저랭크 적응

QLoRA는 동결한 4비트 양자화 기저 모델을 통해 기울기를 전달하면서 LoRA 어댑터를 학습하는 방법입니다. 원 논문은 NF4, 이중 양자화와 페이지 방식 옵티마이저 등을 통해 학습 메모리를 줄이는 구성을 제시합니다. 단순히 LoRA 결과 파일을 4비트로 저장하는 것과 다릅니다. 특정 GPU 용량과 성능 수치는 논문의 실험 조건에 따른 결과이므로 모든 모델의 요구량이나 품질 보증으로 사용하지 않습니다.

huggingface.co: lora