용어와 정의
영문 또는 원어: Knowledge distillation
한글명: 지식 증류
지식 증류는 교사 모델의 출력이나 내부 표현 등을 학습 신호로 사용해 학생 모델을 학습시키는 방법입니다. 학생을 더 작고 효율적으로 만드는 데 자주 쓰지만 교사와 학생의 크기 관계만으로 정의되는 기술은 아닙니다.
정확한 의미와 원리
학생은 정답 라벨뿐 아니라 교사가 출력한 분포, 응답 또는 중간 표현에서 정보를 얻을 수 있습니다. 어떤 신호를 모방할지와 어떤 입력을 사용할지가 학습 목표를 결정합니다. 교사의 가중치를 파일 단위로 압축해서 복원하는 방식과는 구별됩니다.
쉽게 이해하는 사용 예시
서버의 큰 모델이 만든 예시를 이용해 제한된 분류 업무에 맞는 작은 모델을 학습하는 구성을 생각할 수 있습니다. 이때 학생은 평가한 업무에서 유용할 수 있어도 교사의 모든 지식과 기능을 그대로 이어받았다고 볼 수 없습니다.
종류와 관련 개념의 차이
출력 응답을 활용하는 방식과 내부 특징을 맞추는 방식, 미리 만든 자료를 쓰는 방식과 학습 중 학생의 입력 분포를 활용하는 방식이 있습니다. 양자화는 수치 표현의 변경이고 증류는 학습 방식이므로 함께 사용할 수 있지만 같은 기술은 아닙니다.
적용 조건과 오해하기 쉬운 점
교사의 오류와 편향을 학생이 학습할 수 있습니다. 학습 자료의 생성 조건과 사용 권한을 확인하고 독립 평가를 수행합니다. 교사 모델의 특정 벤치마크 성적을 학생에게 그대로 적용하거나 작은 모델의 모든 성능을 증류 덕분이라고 단정하지 않습니다.
정의와 적용 조건의 참고 자료
관련 용어와 글
함께 이해할 기준 개념
함께 비교할 용어
- Inference 모델 추론
- SLM 소형 언어 모델
- Quantization 모델 양자화
- Fine-tuning 미세 조정
- LoRA 저랭크 적응
- Speculative decoding 추측 디코딩
- PTQ 학습 후 양자화
- QAT 양자화 인지 학습
- FP8 8비트 부동소수점 형식
- NVFP4 NVIDIA 4비트 부동소수점 형식
- PEFT 매개변수 효율적 미세 조정
- DPO 직접 선호 최적화
- RLHF 인간 피드백 기반 강화학습
- QLoRA 양자화 저랭크 적응
- LLM 대규모 언어 모델
- NPU 신경망 처리 장치
- GPU 그래픽 처리 장치
- KV cache 키와 값 캐시
- HBM 고대역폭 메모리
- On-device AI 기기 내 인공지능
- TOPS 초당 조 단위 연산 수