Quantization 모델 양자화

모델 양자화는 모델의 가중치나 중간 계산 값을 더 적은 비트 또는 제한된 수치 표현으로 바꾸는 기술입니다. 저장 공간과 메모리 이동 및 계산 비용을 줄이는 데 사용하며 원래 값을 아무 손실 없이 압축하는 방식과는 다릅니다.

연속적이거나 높은 정밀도의 값을 정해진 표현 범위로 대응시키며 스케일과 경우에 따라 영점 등의 정보를 함께 사용합니다. 가중치만 낮은 정밀도로 표현할 수도 있고 활성값까지 적용할 수도 있습니다. 실제 계산은 하드웨어가 지원하는 형식과 커널에 의해 달라집니다.

메모리에 들어가지 않던 모델이 양자화 후 실행 가능해질 수 있습니다. 그러나 변환한 파일이 작아졌다는 사실만으로 처리 속도와 답변 품질까지 좋아졌다고 판단하지 않습니다. 원래 모델과 같은 입력, 출력 길이 및 동시 요청 조건으로 비교해야 합니다.

PTQ는 이미 학습한 모델에 적용하고 QAT는 양자화의 영향을 학습 중에 반영합니다. INT8과 FP8은 모두 8비트라는 공통점이 있지만 정수와 부동소수점 표현이 다릅니다. NVFP4도 모든 4비트 형식의 통칭이 아니며 블록별 스케일과 구현 조건을 갖습니다.

정확도 저하, 표현 범위 밖 값의 처리, 변환 시간과 지원 장치를 함께 확인합니다. 모델 가중치, 활성값 및 KV cache의 양자화는 적용 위치가 다릅니다. 적은 비트 수가 항상 더 낮은 비용이나 더 높은 성능을 뜻하지 않으며 필요한 업무의 평가를 거쳐 선택합니다.

이 절의 용어: PTQ / Post-Training Quantization / 학습 후 양자화

PTQ는 학습이 끝난 모델을 낮은 정밀도로 바꾸는 양자화 방식입니다. 구현에 따라 대표 입력으로 값의 범위를 측정하는 보정 과정을 거칩니다. 모델 전체를 처음부터 다시 학습하는 절차와 구별하며, 보정 데이터가 실제 입력을 대표하지 못하면 품질이 떨어질 수 있습니다. QAT와 비교할 때는 변환 비용뿐 아니라 최종 평가 결과와 하드웨어 지원을 함께 봅니다.

이 절의 용어: QAT / Quantization-Aware Training / 양자화 인지 학습

QAT는 낮은 정밀도에서 발생할 영향을 학습 과정에 반영하는 방식입니다. 모델이 양자화 오차에 적응하도록 학습하지만 모든 연산을 실제 저비트 장치에서 학습한다는 뜻은 아닙니다. PTQ보다 추가 학습 데이터와 자원이 필요할 수 있으며 원래 정확도를 완전히 회복한다는 보장은 없습니다. 배포 시 사용하는 변환 방식과 학습 중 모사한 조건이 맞아야 합니다.

이 절의 용어: FP8 / 8비트 부동소수점 형식

FP8은 8비트 부동소수점 수 표현의 계열입니다. 정수 INT8과 구별하며 지수와 가수의 배분이 다른 형식들이 존재합니다. 같은 FP8 표시라도 값의 범위와 정밀도 및 스케일 처리 조건이 다를 수 있습니다. 가중치, 활성값 또는 캐시에 적용하는 범위를 명시하고 지원 GPU와 실행 엔진을 확인해야 합니다.

이 절의 용어: NVFP4 / NVIDIA 4비트 부동소수점 형식

NVFP4는 NVIDIA가 사용하는 4비트 부동소수점 표현과 블록 단위 스케일링 방식입니다. TensorRT 문서는 가중치와 활성값의 적용 방식 및 블록 조건을 설명합니다. 이름에 4가 들어간다는 이유로 INT4나 다른 FP4 형식과 바로 교환할 수 있는 것은 아닙니다. 파일 크기 감소와 실제 처리량 및 정확도는 모델과 지원 장치에서 따로 확인합니다.

docs.nvidia.com: quant

developer.nvidia.com: optimize