MXFP4

Not: MXFP4 kuantizasyonu şu anda yalnızca OpenAI GPT-OSS 120b ve 20b modelleri için çalışmaktadır.

MXFP4, büyük modellerin bellek gereksinimlerini önemli ölçüde azaltan 4 bitlik kayan nokta formatıdır. Büyük modeller (GPT-OSS-120B) tek bir 80GB GPU'ya sığabilirken, daha küçük modeller (GPT-OSS-20B) yalnızca 16GB bellek gerektirir. Genellikle daha düşük hassasiyetlerde bozulmaya başlayan aralığı ve doğruluğu korumak için blok bazlı ölçekleme kullanır.

MXPF4'ü kullanmak için donanımınızın aşağıdaki gereksinimleri karşıladığından emin olun.

• Accelerate, kernels ve Triton ≥ 3.4'ü yükleyin. Triton ≥ 3.4'ü yalnızca PyTorch 2.7 kullanıyorsanız manuel olarak yükleyin; çünkü PyTorch 2.8'de zaten desteklenmektedir.
• Tesla GPU'ları ve daha yenilerini içeren, 7.5 ve üzeri NVIDIA GPU Compute Capability. Compute Capability değerini kontrol etmek için get_device_capability kullanın.

from torch import cuda
cuda.get_device_capability()

# (7, 5)

Aşağıda gösterildiği gibi bir modelin kuantizasyon yapılandırmasını kontrol ederek MXFP4'ü destekleyip desteklemediğini görebilirsiniz. 'quant_method': 'mxfp4' ise model MXFP4'ü otomatik olarak kullanır.

from transformers import GptOssConfig

model_id = "openai/gpt-oss-120b"
cfg = GptOssConfig.from_pretrained(model_id)
print(cfg.quantization_config)

# Example output:
# {
#   'modules_to_not_convert': [
#     'model.layers.*.self_attn',
#     'model.layers.*.mlp.router',
#     'model.embed_tokens',
#     'lm_head'
#   ],
#   'quant_method': 'mxfp4'
# }

MXFP4 çekirdekleri

Transformers, bunlara ihtiyaç duyan bir model yüklediğinizde MXFP4 uyumlu Triton çekirdeklerini topluluk deposundan otomatik olarak çeker. Çekirdekler yerel önbelleğinizde saklanır ve ileri geçiş sırasında kullanılır.

MXFP4 çekirdekleri, mevcut ve destekleniyorsa varsayılan olarak kullanılır ve herhangi bir kod değişikliği gerektirmez.

Çekirdeklerin indirildiğini doğrulamak için hf cache scan komutunu kullanabilirsiniz.

hf cache scan

REPO ID                          REPO TYPE SIZE ON DISK
-------------------------------- --------- ------------
kernels-community/triton_kernels model           536.2K
openai/gpt-oss-20b               model            13.8G

Kaynaklar

MXFP4 kuantizasyonu ve blok bazlı ölçeklemenin nasıl çalıştığı hakkında bu blog yazısında daha fazla bilgi edinin.