Accelerate documentation

İşleri çalıştırma ve erteleme

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

İşleri çalıştırma ve erteleme

Normal betiğinizi çalıştırdığınızda talimatlar sırayla yürütülür. Accelerate kullanarak betiğinizi aynı anda birden çok GPU üzerinde dağıtmak bir karmaşıklık getirir: her süreç tüm talimatları sırayla yürütse de bazıları diğerlerinden daha hızlı olabilir.

Belirli bir komutu çalıştırmadan önce, tüm süreçlerin belirli bir noktaya ulaşmasını beklemeniz gerekebilir. Örneğin, her sürecin eğitimle ilgili işlemlerini tamamladığından emin olmadan bir modeli kaydetmemeli ve tüm model ağırlıkları yüklenmeden eğitime devam etmemelisiniz. Bunu yapmak için kodunuza aşağıdaki satırı yazmanız yeterlidir:

accelerator.wait_for_everyone()

Bu talimat, diğer tüm süreçler o noktaya ulaşana kadar ilk varan tüm süreçleri bloke eder (betiğinizi yalnızca bir GPU veya CPU üzerinde çalıştırırsanız, bu hiçbir işe yaramaz).

Bu yardımcı işlevin ne zaman kullanılacağına dair birkaç örnek durum aşağıda listelenmiştir:

Bunların bazıları, diğer süreçleri tetikleyip başlatmadan önce belirli bir kod setini ana süreçte çalıştırmak için wait_for_everyone() işlevini kullanan main_process_first() bağlam yöneticisiyle birlikte kullanılır.

Bir Veri Seti İndirme

Bir veri setini indirirken, önce ana işlemde indirmeniz ve ardından önbelleğe alınmış veri setini yüklemeniz gerekir

load_dataset birden fazla indirmenin aynı anda gerçekleşmesini önlemek için arka planda bir kilit uygular, ancak bu kütüphaneyi kullanmadan bir şey indiriyorsanız bu yöntemi kullanmalısınız.

with accelerator.main_process_first():
    datasets = load_dataset("glue", "mrpc")

Arka planda bu, şunu çağırmakla aynıdır:

# First do something on the main process
if accelerator.is_main_process:
    datasets = load_dataset("glue", "mrpc")
else:
    accelerator.wait_for_everyone()

# And then send it to the rest of them
if not accelerator.is_main_process:
    datasets = load_dataset("glue", "mrpc")
else:
    accelerator.wait_for_everyone()

state_dict'in kaydedilmesi

Modelin state_dict dosyasını kaydederken, genellikle yalnızca ana süreçte bir dosya kaydettiğiniz için bunu belirtmelisiniz:

if accelerator.is_main_process:
    model = accelerator.unwrap_model(model)
    torch.save(model.state_dict(), "weights.pth")

state_dict yükleniyor

state_dict'yi bir modele, optimizatora veya zamanlayıcıya yüklerken, eğitime geçmeden önce tüm işçilerin ağırlıkları yüklemesini beklemelisiniz

with accelerator.main_process_first():
    state = torch.load("weights.pth")
    model.load_state_dict(state)

Çok işçili CPU işleminin uygulanması

Birden fazla işçi üzerinde, örneğin tokenizasyon gibi bir map() işleminin uygulanması, önce ana süreçte yapılmalı ve ardından her bir işçiye iletilmelidir.

datasets = load_dataset("glue", "mrpc")

with accelerator.main_process_first():
    tokenized_datasets = datasets.map(
        tokenize_function,
        batched=True,
        remove_columns=["idx", "sentence1", "sentence2"],
    )

Erken Durdurma gibi kontrollerin uygulanması

Belirli bir süreç tarafından ayarlanan bir bayrakla çalışan bir kontrol için set_trigger ve check_trigger API'lerinin kullanılması gerekir. Bunu yapmanın faydalı örnekleri, erken durdurma kullanımı ve kaybı izleme gibi durumları (her kaybın her süreçte biraz farklı olduğu için) içerebilir.

Koşulunuz sağlandığında Accelerator.set_trigger() çağırın ve herhangi bir işlemde bu koşulun sağlanıp sağlanmadığını kontrol ederken Accelerator.check_trigger() kullanın:

for (x,y) in data_loader:
    logits = model(x)
    loss = loss_func(logits, y)
    # Assume `should_do_early_stopping` is a custom defined function that returns a conditional
    if should_do_early_stopping(loss):
        accelerator.set_trigger()

    # Later in the training script when we need to check for the breakpoint
    if accelerator.check_trigger():
        break
Update on GitHub