MXFP4 마이크로스케일링 4비트 부동소수점 형식

작은 수치 묶음에 공통 스케일을 적용하면서 각 값을 4비트 부동소수점으로 표현하는 형식입니다. 모델 계산과 저장에서 사용하는 저정밀도 표현의 한 종류입니다.

개별 값에 사용할 수 있는 비트 수가 작으면 표현 가능한 범위와 정밀도가 제한됩니다. 마이크로스케일링은 값 묶음의 크기에 맞는 스케일 정보를 함께 사용하여 수치를 해석합니다.

Open Compute Project의 2023년 마이크로스케일링 규격에는 여러 정밀도 형식이 정의돼 있습니다. 이 가운데 4비트 형식은 정수 4비트 양자화나 NVIDIA의 다른 4비트 표현과 같은 이름으로 합치지 않습니다.

숫자 하나하나를 길게 적는 대신 같은 묶음이 어느 크기 범위에 있는지 공통 기준을 붙이는 예시로 생각할 수 있습니다. 공통 기준도 저장해야 하므로 값의 비트 수만으로 실제 메모리 총량이 결정되지는 않습니다.

마이크로스케일링 4비트 형식

32개 값이 공통 스케일을 공유하며 스케일은 지수만 표현하는 8비트 E8M0 형식을 사용합니다. 값 자체와 공통 스케일의 저장 비용을 함께 봐야 합니다.

NVIDIA 4비트 부동소수점 형식과의 차이

16개 값이 더 작은 묶음을 이루고 스케일에 8비트 E4M3 형식을 사용하며, 텐서 단위의 추가 32비트 부동소수점 스케일도 이용합니다. 묶음 크기와 스케일의 수치 표현이 모두 다르므로 두 형식을 같은 것으로 취급하지 않습니다.

해당 형식을 지원하는 모델, 변환 도구와 연산 구현이 필요합니다. 저장 공간의 감소, 계산 속도와 출력 품질은 같은 지표가 아니므로 각각 확인합니다.

저정밀도 가중치를 사용하더라도 입력 길이에 따른 캐시나 실행 중간값 등은 추가 메모리를 사용합니다. 모델 전체가 각 값의 4비트만큼만 메모리를 쓴다고 계산하지 않습니다.

2023년 공개 규격에 포함된 형식입니다. 형식의 등장 시점과 최근 제품의 지원 시점은 구분해야 합니다.

같은 형식을 표기해도 실제 장치와 실행 도구의 지원에 따라 처리 속도와 정밀도가 달라질 수 있습니다.

NVIDIA의 4비트 부동소수점 형식과 같나요?

관련된 저정밀도 형식이지만 스케일 방식과 묶음 구조가 다릅니다. 기존 해당 용어와 연결해 차이를 설명하고 서로 다른 형식으로 유지합니다.

모델의 정확도는 그대로 유지되나요?

모델, 변환 과정과 평가 과제에 따라 달라집니다. 원래 정밀도와 변환 후 결과를 같은 기준으로 비교해야 합니다.

근거 규격은 Microscaling Formats 1.0입니다. 제품의 지원 여부는 별도 확인합니다.

최종 검토일: 2026-10-25

Open Compute Project: Microscaling Formats 규격 1.0

NVIDIA: 저정밀도 부동소수점 형식 비교

함께 이해할 용어: Quantization 모델 양자화, NVFP4 NVIDIA 4비트 부동소수점 형식, KV cache 키와 값 캐시, Inference 모델 추론