Accelerate documentation
تنفيذ المهام وتأجيلها
تنفيذ المهام وتأجيلها
عند تشغيلك لسكربتك المعتاد، تُنفَّذ التعليمات بالترتيب. لكن استخدام Accelerate لنشر سكربتك على عدة وحدات معالجة رسومية (GPUs) في الوقت نفسه يُدخل تعقيدًا: فبينما ينفّذ كل عملية جميع التعليمات بالترتيب، قد تكون بعض العمليات أسرع من غيرها.
قد تحتاج إلى الانتظار حتى تصل جميع العمليات إلى نقطة معينة قبل تنفيذ تعليمات محددة. على سبيل المثال، لا ينبغي لك حفظ النموذج قبل التأكد من أن كل عملية قد انتهت من التدريب، كما لا ترغب في مواصلة التدريب قبل تحميل جميع أوزان النموذج. للقيام بذلك، اكتب السطر التالي في كودك:
accelerator.wait_for_everyone()ستحظر هذه التعليمات جميع العمليات التي تصل أولاً حتى تصل جميع العمليات الأخرى إلى تلك النقطة (إذا قمت بتشغيل سكربت على وحدة معالجة رسومات واحدة أو وحدة معالجة مركزية واحدة فقط، فلن يؤدي هذا إلى أي شيء).
فيما يلي بعض الأمثلة على الحالات التي يُستخدم فيها هذا الأداة:
Some of these are utilized with the main_process_first() context manager, which utilizes wait_for_everyone() to run a particular set of code on the main process beforehand before triggering and launching the other processes
تنزيل مجموعة بيانات
عند تنزيل مجموعة بيانات، يجب عليك تنزيلها أولاً في العملية الرئيسية ثم تحميل مجموعة البيانات المخزنة مؤقتاً بعد ذلك
load_datasetسيقوم بإنشاء قفل داخليًا لمنع حدوث عمليات تنزيل متعددة في وقت واحد، ولكن إذا كنت تنزّل شيئًا دون استخدام هذه المكتبة، فيجب عليك استخدام هذه الطريقة.
with accelerator.main_process_first():
datasets = load_dataset("glue", "mrpc")تحت الغطاء، هذا هو نفسه استدعاء:
# First do something on the main process
if accelerator.is_main_process:
datasets = load_dataset("glue", "mrpc")
else:
accelerator.wait_for_everyone()
# And then send it to the rest of them
if not accelerator.is_main_process:
datasets = load_dataset("glue", "mrpc")
else:
accelerator.wait_for_everyone()حفظ state_dict
عند حفظ state_dict للنموذج، بما أنك عادةً ما تحفظ ملفًا واحدًا على العملية الرئيسية فقط، يجب عليك تحديد ذلك:
if accelerator.is_main_process:
model = accelerator.unwrap_model(model)
torch.save(model.state_dict(), "weights.pth")تحميل الـ state_dict
عند تحميل state_dict في نموذج أو مُحسِّن أو مُجدول، يجب أن تنتظر حتى يتم تحميل الأوزان في جميع العمال قبل الانتقال إلى التدريب
with accelerator.main_process_first():
state = torch.load("weights.pth")
model.load_state_dict(state)تطبيق عملية وحدة معالجة مركزية متعددة العمال
يجب تطبيق عملية map() على عدة عمّال، مثل الترميز، أولاً على العملية الرئيسية، ثم يتم نشرها إلى كل عامل.
datasets = load_dataset("glue", "mrpc")
with accelerator.main_process_first():
tokenized_datasets = datasets.map(
tokenize_function,
batched=True,
remove_columns=["idx", "sentence1", "sentence2"],
)تطبيق فحوصات مثل التوقف المبكر
لضمان عمل الفحص مع علم يُعيّنه عملية محددة، ينبغي استخدام واجهتي set_trigger وcheck_trigger. ومن الأمثلة المفيدة على ذلك استخدام التوقف المبكر ومراقبة الخسارة (حيث تختلف كل خسارة قليلاً بين كل عملية وأخرى).
استدعِ Accelerator.set_trigger() عندما تتحقق شرطك، واستدعِ Accelerator.check_trigger() عند التحقق مما إذا كان ذلك الشرط قد تحقق في أي عملية:
for (x,y) in data_loader:
logits = model(x)
loss = loss_func(logits, y)
# Assume `should_do_early_stopping` is a custom defined function that returns a conditional
if should_do_early_stopping(loss):
accelerator.set_trigger()
# Later in the training script when we need to check for the breakpoint
if accelerator.check_trigger():
break