Accelerate documentation

Perkiraan memori model

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Perkiraan memori model

Salah satu aspek yang sangat sulit saat mengeksplorasi model potensial untuk digunakan di mesin Anda adalah mengetahui seberapa besar model yang dapat muat ke dalam memori dengan perangkat Anda saat ini (seperti memuat model ke CUDA atau XPU).

Untuk membantu meringankan masalah ini, Accelerate menyediakan antarmuka CLI melalui accelerate estimate-memory. Tutorial ini akan membimbing Anda dalam penggunaannya, apa yang perlu diharapkan, dan di akhir akan memberikan tautan ke demo interaktif yang dihosting di Hub, yang bahkan memungkinkan Anda memposting hasil tersebut langsung di repo model!

Saat ini kami mendukung pencarian model yang dapat digunakan di timm dan transformers.

API ini akan memuat model ke memori pada perangkat meta, sehingga kami tidak benar-benar mengunduh dan memuat bobot penuh model ke memori, dan kami juga tidak membutuhkannya. Akibatnya, sangat wajar untuk mengukur model dengan 8 miliar parameter (atau lebih), tanpa perlu khawatir apakah CPU Anda mampu menanganinya!

Demo Gradio

Berikut adalah beberapa demo gradio yang berkaitan dengan apa yang dijelaskan di atas. Yang pertama adalah space estimasi memori resmi Hugging Face, yang memanfaatkan Accelerate secara langsung:

Seorang anggota komunitas telah mengambil ide tersebut dan mengembangkannya lebih jauh, memungkinkan Anda untuk memfilter model secara langsung dan melihat apakah Anda dapat menjalankan LLM tertentu dengan mempertimbangkan batasan GPU dan konfigurasi LoRA. Untuk mencobanya, lihat di sini untuk detail lebih lanjut.

Perintah

Saat menggunakan accelerate estimate-memory, Anda perlu memasukkan nama model yang ingin digunakan, kerangka kerja (framework) yang digunakan oleh model tersebut (jika tidak dapat ditemukan secara otomatis), dan tipe data yang ingin digunakan untuk memuat model.

Sebagai contoh, berikut adalah cara kita dapat menghitung jejak memori untuk bert-base-cased:

accelerate estimate-memory bert-base-cased

Ini akan mengunduh config.json untuk bert-based-cased, memuat model pada perangkat meta, dan melaporkan berapa banyak ruang yang akan digunakan:

Penggunaan Memori untuk memuat bert-base-cased:

dtypeLapisan TerbesarTotal UkuranPelatihan menggunakan Adam
float3284,95 MB418,18 MB1,61 GB
float1642,47 MB206,59 MB826,36 MB
int821,24 MB103,29 MB413,18 MB
int410,62 MB51,65 MB206,59 MB

Secara default, fungsi ini akan mengembalikan semua dtype yang didukung (int4 hingga float32), tetapi jika Anda tertarik pada dtype tertentu, dtype tersebut dapat difilter.

Perpustakaan tertentu

Jika pustaka sumber tidak dapat ditentukan secara otomatis (seperti yang bisa dilakukan pada kasus bert-base-cased), nama pustaka dapat dilewatkan.

accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers

Penggunaan Memori untuk memuat HuggingFaceM4/idefics-80b-instruct:

dtypeLapisan TerbesarTotal UkuranPelatihan menggunakan Adam
float323,02 GB297,12 GB1.16 TB
float161,51 GB148,56 GB594.24 GB
int8772.52 MB74,28 GB297,12 GB
int4386,26 MB37,14 GB148,56 GB
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm

Penggunaan Memori untuk memuat timm/resnet50.a1_in1k:

dtypeLapisan TerbesarTotal UkuranPelatihan menggunakan Adam
float329,0 MB97,7 MB390,78 MB
float164,5 MB48,85 MB195,39 MB
int82,25 MB24,42 MB97,7 MB
int41,12 MB12,21 MB48,85 MB

dtype tertentu

Seperti yang disebutkan sebelumnya, meskipun secara default kami mengembalikan int4 hingga float32, dtype apa pun dapat digunakan dari float32, float16, int8, dan int4.

Untuk melakukannya, berikan setelah menentukan --dtypes:

accelerate estimate-memory bert-base-cased --dtypes float32 float16

Penggunaan Memori untuk memuat bert-base-cased:

dtypeLapisan TerbesarTotal UkuranPelatihan menggunakan Adam
float3284,95 MB413,18 MB1,61 GB
float1642,47 MB206,59 MB826,36 MB

Catatan terkait kalkulator ini

Kalkulator ini akan memberi tahu Anda berapa banyak memori yang dibutuhkan untuk memuat model saja, bukan untuk melakukan inferensi.

Perhitungan ini akurat dalam beberapa % dari nilai sebenarnya, sehingga memberikan gambaran yang sangat baik tentang berapa banyak memori yang akan dibutuhkan. Misalnya, memuat bert-base-cased sebenarnya membutuhkan 413.68 MB saat dimuat di CUDA dengan presisi penuh, dan kalkulator memperkirakan 413.18 MB.

Saat melakukan inferensi, Anda dapat mengharapkan penambahan hingga 20% tambahan, sebagaimana ditemukan oleh EleutherAI. Kami akan melakukan penelitian untuk menemukan estimasi yang lebih akurat untuk nilai-nilai ini, dan akan memperbarui kalkulator ini setelah selesai.

Update on GitHub