چرا سختافزارهای Grace Blackwell به نسل جدیدی از زمان‌بندها نیاز دارند؟ — Grace Blackwell needs a new scheduler: 27% more usable GPUs from the same racks
خلاصه
مقاله حاضر چالش‌های ارتباطی در آموزش و استنتاج مدل‌های هوش مصنوعی مقیاس‌بزرگ را بررسی می‌کند. با ظهور معماری‌های رک‌محور مانند NVL72، زمان‌بندی آگاه از توپولوژی و مدیریت بهینه گره‌های یدکی نقش کلیدی در جلوگیری از افت عملکرد ناشی از شبکه‌های کندتر ایفا می‌کنند.
در معماری‌های مدرن هوش مصنوعی، انتخاب اینترفیس ارتباطی مناسب تأثیر مستقیمی بر کارایی دارد. اجرای یک کار توزیع‌شده روی InfiniBand به جای NVLink می‌تواند عملکرد را به شدت کاهش دهد. از تاریخی‌ترین محدودیت‌ها، محدود بودن NVLink به ارتباطات درون یک نود بود که بارهای کاری چندنودی را ناچار به استفاده از InfiniBand یا جایگزین‌های ابری می‌کرد. سیستم‌های NVL72 با اتصال ۷۲ جی‌پی‌یو در یک رک از طریق یک فابریک یکپارچه NVLink این محدودیت را برطرف کرده‌اند.
آموزش در مقیاس بزرگ به عنوان یک مسئله ارتباطی
اجرای کارهای آموزشی روی هزاران GPU نیازمند بخش‌بندی مدل است. استراتژی‌های اصلی شامل موارد زیر هستند:
- Tensor Parallelism (TP): تقسیم ماتریس‌های وزن هر لایه بین GPUها.
- Expert Parallelism (EP): قرار دادن اکسپرت‌های مدل‌های Mixture of Experts روی GPUهای مختلف.
- Pipeline Parallelism (PP): تقسیم لایه‌های مدل به صورت لایه‌لایه روی سختافزارهای مختلف.
الگوهای ارتباطی Tensor Parallelism و Expert Parallelism در مسیر بحرانی آموزش قرار دارند. به عنوان مثال، انتقال Tensor Parallelism از NVLink به InfiniBand می‌تواند افت شدید کارایی ایجاد کند. در مدل‌های MoE نیز ترافیک تمام‌به‌تمام (all-to-all) در مقیاس‌های بزرگ نیازمند پهنای باند بالا است که معماری‌های رک‌محور آن را پوشش می‌دهند.
رک به عنوان سرور جدید
سیستم‌های NVL72 دامنه NVLink را از یک نود به کل رک گسترش می‌دهند تا کل رک مانند یک شتاب‌دهنده غول‌پیکر با حافظه اشتراکی عمل کند. هر GPU دارای پورت‌های متعدد NVLink است که پهنای باند دوطرفه بالایی را فراهم می‌کنند. این توپولوژی شبکه تضمین می‌کند که فابریک کاملاً غیرمسدودکننده (non-blocking) بوده و هر GPU می‌تواند با تأخیر یکنواخت با دیگران ارتباط برقرار کند.
قابلیت اعتماد و اهمیت گره‌های یدکی
اگرچه استفاده از تمام نودهای یک رک وسوسه‌انگیز است، اما نرخ خرابی GPUها چالش‌برانگیز است. خرابی یک نود در ساختارهای بزرگ می‌تواند کل رک را از دسترس خارج کند. اختصاص دادن چند نود به عنوان یدکی (Spare) در هر رک راهکار مقابله با این مشکل است:
- استفاده از اسلایس‌های ۱۶-نودی با دو نود یدکی در هر رک، ظرفیت قابل استفاده بیشتری نسبت به اسلایس‌های تمام‌رک ۱۸-نودی ارائه می‌دهد.
- در صورت خرابی یک نود، نود یدکی جایگزین شده و کار بدون وقفه ادامه می‌یابد.
زمان‌بندهای آگاه از سخت‌افزار
زمان‌بندهای سنتی ممکن است کارهای چندنودی را بین رک‌های مختلف پخش کنند که باعث افت عملکرد به دلیل اتکا به InfiniBand می‌شود. زمان‌بندهای مدرن مانند توپولوژی‌محور (Topology-Aware Scheduler) تضمین می‌کنند که کارگران روی یک رک مستقر شوند. این رویکرد نه‌تنها از افت سرعت جلوگیری می‌کند، بلکه هزینه‌های گزاف محاسباتی را در خوشه‌های بزرگ کاهش می‌دهد.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل