اجرای توزیع‌شده مدل‌های تریلیون پارامتری روی مک استودیو با MLX و تاندربولت RDMA

تیم تحقیقات یادگیری ماشین اپل (Apple ML Research) در گزارشی فنی نشان داده است که چگونه می‌توان مدل‌های زبانی پیشرو در مقیاس نزدیک به یک تریلیون پارامتر را با استفاده از فریم‌ورک متن‌باز MLX و خوشه‌ای از کامپیوترهای Mac Studio به‌صورت محلی اجرا کرد. این آزمایش‌ها روی مدل‌های متنوعی از جمله Muse Spark Open (مدل ۸۱۶ میلیارد پارامتری بر پایه معماری MoE)، Mistral Medium 3.5 و Qwen 3.8 انجام شده است.

قدرت سخت‌افزاری M5 Ultra در استنتاج تک‌سیستمی

در سناریوی تک‌ماشینی، اپل عملکرد تراشه جدید M5 Ultra را با نسل قبلی M3 Ultra روی مک استودیو با ۵۱۲ گیگابایت حافظه یکپارچه (Unified Memory) مقایسه کرده است. نتایج کلیدی این مقایسه عبارتند از:

• شتاب‌دهنده‌های عصبی در GPU: زمان رسیدن به اولین توکن (TTFT) وابستگی بالایی به توان محاسباتی ماتریسی دارد. شتاب‌دهنده‌های جدید GPU در M5 Ultra تا ۴.۶ برابر زمان پاسخ اولیه را در مقایسه با M3 Ultra بهبود داده‌اند.
• پهنای باند ۱.۲ ترابایت بر ثانیه: سرعت تولید توکن‌های بعدی (Decode Speed) شدیداً به پهنای باند حافظه وابسته است. پهنای باند ۱.۲ ترابایت بر ثانیه‌ای در M5 Ultra باعث رشد ۱.۶ برابری سرعت تولید نسبت به نسل قبل شده است.
• مصرف بهینه انرژی: اوج مصرف توان یک سیستم Mac Studio با تراشه M5 Ultra حدود ۳۰۰ وات گزارش شده است که در مقایسه با سرورهای هوش مصنوعی دیتاسنتری بسیار ناچیز است.

مدل‌هایی مانند Qwen 3.8 با ۲۷ میلیارد پارامتر یا حتی Mistral Medium 3.5 با ۱۲۸ میلیارد پارامتر در پنجره بافت ۶۵ هزار توکنی، به ترتیب حدود ۶۸ و ۱۵۸ گیگابایت از رم سیستم را اشغال می‌کنند و به‌راحتی روی یک سیستم ۵۱۲ گیگابایتی قابل اجرا هستند.

مقیاس‌پذیری و خوشه‌بندی با RDMA روی Thunderbolt 5

مدل‌های بزرگ‌تری مانند Muse Spark Open به حافظه‌ای بسیار فراتر از ظرفیت یک کامپیوتر نیاز دارند؛ این مدل در فرمت کوانتایز ۴ بیتی (NVFP4) حداقل به ۴۹۳ گیگابایت حافظه فقط برای پارامترها و مقادیر بیشتری برای حافظه میانی نیاز دارد. برای عبور از این محدودیت، اپل قابلیت‌های پردازش موازی توزیع‌شده را در MLX پیاده کرده است.

این زیرساخت بر پایه درایور RDMA روی Thunderbolt 5 کار می‌کند که در سیستم‌عامل macOS 26.2 تعبیه شده است. فریم‌ورک MLX از کتابخانه‌ای اختصاصی به نام jaccl برای برقراری ارتباطات بسیار سریع و کم‌تاخیر بین سیستم‌ها بهره می‌برد:

• موازی‌سازی خط لوله‌ای (Pipeline Parallelism): مدل از نظر لایه‌ها به چند بخش تقسیم شده و هر بخش روی یک سیستم قرار می‌گیرد. در پنجره‌های بافت طولانی (مانند ۶۵ هزار توکن)، با شکستن مرحله Prefill به قطعات کوچک‌تر و پردازش همپوشان، سرعت پاسخ اولیه حتی ۱.۸ برابر سریع‌تر از یک نود اجرا می‌شود.
• موازی‌سازی تانسوری (Tensor Parallelism): عرض هر لایه بین سیستم‌ها پخش می‌شود تا پردازش محاسباتی درون هر لایه موازی شود. این رویکرد به دلیل ارسال پیام‌های پرتعداد بین‌ماشینی، نیازمند تاخیر بسیار پایین است. اتصال شبکه‌ای با دو کابل Thunderbolt برای هر گره، پهنای باند را دوبرابر کرده و تاخیر را به‌شدت کاهش می‌دهد.

ترکیب ۴ دستگاه Mac Studio با تراشه M5 Ultra به این روش توانسته مدل ۸۱۶ میلیارد پارامتری را با سرعتی فراتر از ۳۶ توکن بر ثانیه اجرا کند که به‌مراتب سریع‌تر از میانگین سرعت مطالعه انسان است.

کاربرد در سیستم‌های محلی Agentic AI

به‌اشتراک‌گذاری این مدل‌ها برای کاربردهای کدنویسی خودکار و عامل‌های هوشمند (Agentic AI) از طریق دستور mlx_lm.server میسر شده که یک اندپوینت محلی سازگار با استانداردهای OpenAI ارائه می‌دهد. توسعه‌دهندگان می‌توانند ابزارهای برنامه‌نویسی عامل‌محور مانند OpenCode را به‌راحتی به این سرور محلی متصل کرده و از مزایای حریم خصوصی داده‌ها بدون وابستگی به کلاد بهره‌مند شوند.

دیدگاه توسعه‌دهندگان و بازخوردها

بحث‌های شکل‌گرفته پیرامون این دستاورد در جامعه مهندسی نکات جالبی را مطرح کرده است. برخی کاربران به این نکته اشاره دارند که ساخت خوشه‌ای از ۴ دستگاه مک استودیو هزینه‌ای در حدود ۲۰ هزار دلار در پی دارد؛ بنابراین ایده اجرای مدل روی «میز کار»، دست‌کم از نظر مالی، هنوز در دسترس هر توسعه‌دهنده‌ای نیست. علاوه بر این، انتقاداتی نیز به مقایسه مدل‌ها مطرح شده است؛ چرا که اپل مدل شرکت متا را در نسخه کوانتایز ۴ بیتی بررسی کرده اما مدل‌های دیگر را در دقت‌های بالاتری مثل BF16 سنجیده است. با این حال، پایداری و بازده انرژی معماری Apple Silicon در کنار پیاده‌سازی کارآمد پروتکل RDMA روی تاندربولت نشان می‌دهد که اپل در حال ایجاد جای پایی محکم در حوزه استنتاج سیستم‌های توزیع‌شده است.