Mengekspor ke produksi

Ekspor model Transformers ke berbagai format untuk runtime dan perangkat yang dioptimalkan. Deploy model yang sama ke penyedia cloud atau jalankan di perangkat mobile dan edge. Anda tidak perlu menulis ulang model dari awal untuk setiap lingkungan deployment. Deploy secara bebas di seluruh ekosistem inferensi mana pun.

ExecuTorch

ExecuTorch menjalankan model PyTorch pada perangkat mobile dan edge. Ekspor model menjadi graf operator yang distandarkan, mengompilasi graf tersebut menjadi program ExecuTorch, dan mengeksekusinya pada perangkat target. Runtime-nya ringan dan menghitung rencana eksekusi terlebih dahulu.

Instal Optimum ExecuTorch dari sumber.

git clone https://github.com/huggingface/optimum-executorch.git
cd optimum-executorch
pip install '.[dev]'

Ekspor model Transformers ke ExecuTorch dengan alat CLI.

optimum-cli export executorch \
    --model "Qwen/Qwen3-8B" \
    --task "text-generation" \
    --recipe "xnnpack" \
    --use_custom_sdpa \
    --use_custom_kv_cache \
    --qlinear 8da4w \
    --qembedding 8w \
    --output_dir="hf_smollm2"

Jalankan perintah berikut untuk melihat semua opsi ekspor.

optimum-cli export executorch --help

ONNX

ONNX adalah bahasa bersama untuk mendeskripsikan model dari berbagai framework. Ia merepresentasikan model sebagai graf dari operator standar dengan tipe, bentuk, dan metadata yang terdefinisi dengan baik. Model diserialisasi menjadi file protobuf yang ringkas yang dapat Anda deploy di berbagai runtime dan engine yang dioptimalkan.

Optimum ONNX mengekspor model ke ONNX dengan objek konfigurasi. Alat ini mendukung banyak arsitektur dan mudah diperluas. Ekspor model melalui alat CLI atau secara programatik.

Instal Optimum ONNX.

uv pip install optimum-onnx

optimum-cli

Tentukan model yang akan diekspor dan direktori keluaran dengan argumen --model.

optimum-cli export onnx --model Qwen/Qwen3-8B Qwen/Qwen3-8b-onnx/

Jalankan perintah berikut untuk melihat semua argumen yang tersedia atau lihat panduan Ekspor model ke ONNX dengan optimum.exporters.onnx untuk detail lebih lanjut.

optimum-cli export onnx --help

Untuk mengekspor model lokal, simpan file bobot dan tokenizer di direktori yang sama. Sampaikan jalur direktori ke argumen --model dan gunakan argumen --task untuk menentukan task. Jika Anda tidak menyediakan --task, sistem akan menginfersinya secara otomatis dari model atau menggunakan arsitektur tanpa head yang spesifik untuk task.

optimum-cli export onnx --model path/to/local/model --task text-generation Qwen/Qwen3-8b-onnx/

Deploy model dengan runtime apa pun yang mendukung ONNX, termasuk ONNX Runtime.

from transformers import AutoTokenizer
from optimum.onnxruntime import ORTModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8b-onnx")
model = ORTModelForCausalLM.from_pretrained("Qwen/Qwen3-8b-onnx")
inputs = tokenizer("Plants generate energy through a process known as ", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs))

optimum.onnxruntime

Ekspor model Transformers secara programatik dengan Optimum ONNX. Instansiasi ORTModel dengan sebuah model dan atur export=True. Simpan model ONNX dengan save_pretrained.

from optimum.onnxruntime import ORTModelForCausalLM
from transformers import AutoTokenizer

ort_model = ORTModelForCausalLM.from_pretrained("Qwen/Qwen3-8b", export=True)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-8b")

ort_model.save_pretrained("onnx/")
tokenizer.save_pretrained("onnx/")