Transformers documentation
Optimum
Mulai
Kelas dasar
Model
Preprocessor
Inferensi
API Pipeline
Generate API
Optimasi
Berbicara dengan model
Serving
Pelatihan
Perangkat keras
Kuantisasi
IkhtisarKonsep kuantisasiPilih metode OptimumKontribusi metode kuantisasi
Tugas umum
Kuantisasi saat memuat
Muat checkpoint yang sudah dikuantisasi sebelumnya
Integrasi ekosistem
Sumber daya
API
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.22.2).
Optimum
Optimum adalah pustaka optimasi yang mendukung kuantisasi untuk Intel, Furiosa, ONNX Runtime, GPTQ, dan fungsi kuantisasi PyTorch tingkat rendah. Pustaka ini dirancang untuk meningkatkan kinerja pada perangkat keras tertentu - CPU/HPU Intel, GPU AMD, NPU Furiosa, dll. - dan akselerator model seperti ONNX Runtime.
Update on GitHub