MXFP4

참고: MXFP4 양자화는 현재 OpenAI GPT-OSS 120b 및 20b에서만 작동합니다.

MXFP4는 대형 모델의 메모리 요구 사항을 크게 줄이는 4비트 부동 소수점 형식입니다. 대형 모델(GPT-OSS-120B)은 단일 80GB GPU에 수용할 수 있으며, 소형 모델(GPT-OSS-20B)은 16GB의 메모리만 필요합니다. 일반적으로 정밀도가 낮아지면 저하되는 범위와 정확도를 유지하기 위해 블록 단위 스케일링을 사용합니다.

MXPF4를 사용하려면 하드웨어가 다음 요구 사항을 충족하는지 확인하세요.

• Accelerate, kernels, Triton ≥ 3.4를 설치합니다. PyTorch 2.7을 사용하는 경우에만 Triton ≥ 3.4를 수동으로 설치하세요. PyTorch 2.8에서는 이미 지원되고 있기 때문입니다.
• Tesla GPU 및 그 이후의 GPU를 포함하여 NVIDIA GPU Compute Capability가 7.5 이상이어야 합니다. get_device_capability를 사용하여 Compute Capability를 확인하세요.

from torch import cuda
cuda.get_device_capability()

# (7, 5)

아래와 같이 모델의 양자화 설정을 확인하여 MXFP4를 지원하는지 확인합니다. 'quant_method': 'mxfp4'인 경우, 모델은 자동으로 MXFP4를 사용합니다.

from transformers import GptOssConfig

model_id = "openai/gpt-oss-120b"
cfg = GptOssConfig.from_pretrained(model_id)
print(cfg.quantization_config)

# Example output:
# {
#   'modules_to_not_convert': [
#     'model.layers.*.self_attn',
#     'model.layers.*.mlp.router',
#     'model.embed_tokens',
#     'lm_head'
#   ],
#   'quant_method': 'mxfp4'
# }

MXFP4 커널

Transformers는 해당 커널이 필요한 모델을 로드할 때 커뮤니티 저장소에서 MXFP4 지원 Triton 커널을 자동으로 가져옵니다. 커널은 로컬 캐시에 저장되며 forward pass 동안 사용됩니다.

가용하고 지원되는 경우 기본적으로 MXFP4 커널이 사용되며, 코드 변경이 필요하지 않습니다.

hf cache scan을 사용하여 커널이 다운로드되었는지 확인할 수 있습니다.

hf cache scan

REPO ID                          REPO TYPE SIZE ON DISK
-------------------------------- --------- ------------
kernels-community/triton_kernels model           536.2K
openai/gpt-oss-20b               model            13.8G

리소스

MXFP4 양자화 및 블록 단위 스케일링 작동 방식에 대해 자세히 알아보려면 이 블로그 게시물을 참고하세요.