برچسب‌ها

پردازش موازی

۱ مطلب با این برچسب

machinelearning.apple.com ۲۵ مهر

اجرای توزیع‌شده مدل‌های تریلیون پارامتری روی مک استودیو با MLX و تاندربولت RDMA

تیم تحقیقات یادگیری ماشین اپل روش اجرای توزیع‌شده مدل‌های فوق‌بزرگ مانند Muse Spark Open (با ۸۱۶ میلیارد پارامتر) را روی خوشه‌ای از مک استودیوها با فریم‌ورک MLX و اتصال RDMA روی Thunderbolt 5 به نمایش گذاشت؛ رویکردی که سرعت تولید متنی بیش از ۳۶ توکن در ثانیه فراهم می‌کند.

۳۳۷ امتیاز ۱۷۱ نظر ۴ دقیقه