Accelerate documentation
مزامنة التدرجات
مزامنة التدرجات
يعمل وحدة التوزيع في PyTorch من خلال التواصل ذهاباً وإياباً بين جميع وحدات معالجة الرسومات (GPUs) في نظامك.
يستغرق هذا التواصل وقتاً، ويحدث ضمان معرفة جميع العمليات بحالات بعضها البعض عند نقاط تشغيل محددة عند استخدام وحدة ddp.
تُضاف هذه نقاط التفعيل إلى نموذج PyTorch، وتحديداً إلى طريقتيه forward() وbackward().
يحدث ذلك عند تغليف النموذج بواسطة DistributedDataParallel:
import torch.nn as nn
from torch.nn.parallel import DistributedDataParallel
model = nn.Linear(10, 10)
ddp_model = DistributedDataParallel(model)في Accelerate، يحدث هذا التحويل تلقائيًا عند استدعاء prepare() مع تمرير النموذج الخاص بك.
+ from accelerate import Accelerator
+ accelerator = Accelerator()
import torch.nn as nn
- from torch.nn.parallel import DistributedDataParallel
model = nn.Linear(10,10)
+ model = accelerator.prepare(model)التباطؤ في تراكم التدرجات
أنت الآن تفهم أن PyTorch يضيف خطافات (hooks) إلى طريقتي forward وbackward في نموذج PyTorch الخاص بك عند التدريب في إعداد موزّع. لكن كيف يمكن أن يؤدي هذا إلى إبطاء كودك؟
في DDP (التوازي الموزّع للبيانات)، يُتوقَّع أن تُنفَّذ العمليات وتُشغَّل بترتيب محدد في نقاط زمنية معينة، كما يجب أن تحدث هذه العمليات في وقت متقارب تقريبًا قبل الانتقال إلى الخطوة التالية.
أكثر مثال مباشر هو عند تحديث معاملات النموذج عبر optimizer.step().
بدون تراكم التدرجات، يجب على جميع نسخ النموذج أن تكون قد حسبت تدرجاتها المحدّثة، وجمعتها، وحدّثتها قبل الانتقال إلى الدفعة التالية من البيانات.
عند تنفيذ تراكم التدرجات، تقوم بتراكم n من تدرجات الدالة الخاسرة، وتتخطى optimizer.step() حتى يتم الوصول إلى n دفعات. وبما أن جميع عمليات التدريب تحتاج فقط إلى المزامنة عند استدعاء optimizer.step()، وبدون أي تعديل على خطوة التدريب الخاصة بك، يمكن لهذا التواصل غير الضروري بين العمليات أن يسبب تباطؤًا كبيرًا.
كيف يمكنك تجنب هذا العبء؟
حل مشكلة التباطؤ
بما أنك تتخطى تحديثات معاملات النموذج عند التدريب على هذه الدفعات، فلا حاجة إلى مزامنة تدرجاتها حتى اللحظة التي يُستدعى فيها optimizer.step() فعليًا.
لا يمكن لـ PyTorch أن يحدد تلقائيًا متى تحتاج إلى القيام بذلك، لكنه يوفر أداة للمساعدة من خلال مُدير السياق no_sync
الذي يُضاف إلى نموذجك بعد تحويله إلى DDP.
في إطار مدير السياق هذا، سيتخطى PyTorch مزامنة التدرجات عند استدعاء .backward()، وسيؤدي أول استدعاء لـ.backward() خارج إطار مدير هذا السياق إلى تفعيل المزامنة. راجع المثال أدناه:
ddp_model, dataloader, optimizer = accelerator.prepare(model, dataloader, optimizer)
for index, batch in enumerate(dataloader):
inputs, targets = batch
# Trigger gradient synchronization on the last batch
if index != (len(dataloader) - 1):
with ddp_model.no_sync():
# Gradients only accumulate
outputs = ddp_model(inputs)
loss = loss_func(outputs)
accelerator.backward(loss)
else:
# Gradients finally sync
outputs = ddp_model(inputs)
loss = loss_func(outputs)
accelerator.backward(loss)
optimizer.step()في Accelerate لجعل هذا واجهة برمجة تطبيقات يمكن استدعاؤها بغض النظر عن جهاز التدريب (على الرغم من أنه قد لا يؤدي أي شيء إذا لم تكن في نظام موزّع!)، يتم استبدال ddp_model.no_sync بـ no_sync() ويعمل بالطريقة نفسها:
ddp_model, dataloader, optimizer = accelerator.prepare(model, dataloader, optimizer)
for index, batch in enumerate(dataloader):
inputs, targets = batch
# Trigger gradient synchronization on the last batch
if index != (len(dataloader)-1):
- with ddp_model.no_sync():
+ with accelerator.no_sync(model):
# Gradients only accumulate
outputs = ddp_model(inputs)
loss = loss_func(outputs, targets)
accelerator.backward(loss)
else:
# Gradients finally sync
outputs = ddp_model(inputs)
loss = loss_func(outputs)
accelerator.backward(loss)
optimizer.step()
optimizer.zero_grad()كما قد تتوقع، تُغلّف دالة accumulate() هذا الفحص الشرطي من خلال تتبع رقم الدفعة الحالية، مما يترك لك واجهة برمجة التطبيقات النهائية لتراكم التدرجات:
ddp_model, dataloader, optimizer = accelerator.prepare(model, dataloader, optimizer)
for batch in dataloader:
with accelerator.accumulate(model):
optimizer.zero_grad()
inputs, targets = batch
outputs = model(inputs)
loss = loss_function(outputs, targets)
accelerator.backward(loss)
optimizer.step()
optimizer.zero_grad()نتيجةً لذلك، يجب عليك استخدام accelerator.accumulate أو accelerator.no_sync عند اختيار واجهة برمجة التطبيقات.
إلى أي مدى يكون هناك تباطؤ، والأخطاء السهلة التي قد ترتكبها
لإعداد مثال واقعي، فكّر في الإعداد التالي:
- عقدان بوحدة معالجة رسومية T4 واحدة لكل منهما وعقدة واحدة بوحديتي معالجة رسومية
- كل وحدة معالجة رسومية هي من نوع T4، وهي مستضافة على GCP
- النص البرمجي المستخدم هو تعديل على نص مثال NLP
- حجم الدفعة لكل وحدة معالجة رسومية هو 16، وتتراكم التدرجات كل 4 خطوات
جميع السكربتات متاحة في هذا المستودع.
إذا لم نكن حذرين بشأن مزامنة التدرجات والتواصل بين وحدات معالجة الرسوميات، فقد يُهدر كمٌّ كبير من الوقت أثناء تواصل هذه الوحدات مع بعضها البعض خلال فترات غير ضرورية.
بكم؟
مرجع:
- الخط الأساسي: لا يستخدم أي ممارسات مزامنة تمت مناقشتها هنا
no_syncبشكل غير صحيح:no_syncفقط حول استدعاءbackwardوليسforwardno_sync: الاستخدام الصحيح لنمطno_syncaccumulate: الاستخدام الصحيح لـ accumulate()
فيما يلي متوسط الثواني لكل دفعة عند تكرار 29 دفعة من البيانات لكل إعداد على عقدة واحدة وعلى إعداد العقدة المزدوجة:
| الخط الأساسي | no_sync بشكل غير صحيح | no_sync | accumulate | |
|---|---|---|---|---|
| عقدة متعددة | 2±0.01s | 2.13±0.08s | 0.91±0.11s | 0.91±0.11s |
| عقدة واحدة | 0.50±0.01s | 0.50±0.01s | 0.41±0.015s | 0.41±0.015s |
كما ترون، إذا لم تكونوا حذرين بشأن كيفية إعداد مزامنة التدرجات، فقد تتعرضون لتباطؤ يتجاوز ضعف السرعة أثناء التدريب!
إذا كنت قلقًا بشأن التأكد من أن كل شيء يتم بشكل صحيح، فنوصي بشدة باستخدام دالة accumulate() ومرور gradient_accumulation_steps أو gradient_accumulation_plugin إلى كائن Accelerator حتى يتولى Accelerate هذه المهمة نيابةً عنك.
يتطلب no_sync ذاكرة GPU إضافية عند استخدام FSDP
انتبه إلى أن عدم مزامنة التدرجات قد يكون له آثار سلبية أثناء تنفيذ تدريب FSDP. كما حذّر منه في torch، فإن مدير السياق no_sync الخاص بـ FSDP سيتطلب ذاكرة إضافية.
لذلك، في المواقف التي تتطلب استهلاكًا كبيرًا للذاكرة أثناء استخدام FSDP، نوصي بإعداد sync_each_batch إلى True في GradientAccumulationPlugin لتعطيل no_sync.
انظر إلى المثال أدناه حيث نقوم بضبط Mixtral (47B من المعاملات) على 8 وحدات معالجة رسومية A100-80GB. نلاحظ أنه حتى مع قيمة متواضعة لـ gradient_accumulation_steps=2، نواجه بسرعة مشكلة نفاد الذاكرة (OOM) إذا تم تفعيل no_sync. مرة أخرى، يعود السبب إلى الأعباء الإضافية على الذاكرة الناتجة عن خاصية no_sync في FSDP. ومع ذلك، إذا تم تعطيل no_sync عبر sync_each_batch=True، فإن استهلاك الذاكرة لـ gradient_accumulation_steps=16 يعود إلى مستوى gradient_accumulation_steps=1.
| النموذج | no_sync (accum=1) | no_sync (accum=2) | no_sync معطّل (accum=16) |
|---|---|---|---|
| mixtral 8x7B | 69G | OOM | 69G |
Update on GitHubتعطيل
no_syncيعني أن سيحدث تباطؤ بسبب عمليات مزامنة البيانات الإضافية، كما هو موضح في الأقسام السابقة من هذا الدليل.