انتشار موتور استنتاج قدرتمند DeepSeek به صورت متن‌باز

تیم DeepSeek فریمورک استنتاج خود با نام DeepInfer را روی گیت‌هاب منتشر کرد. این پروژه همان موتور استنتاج با کارایی بالایی است که سرویس‌های مقیاس‌پذیر و تولیدی DeepSeek را پشتیبانی می‌کند و این نسخه متن‌باز، امکان استنتاج آفلاین با قابلیت‌های کلیدی برای سرویس‌دهی در مقیاس وسیع را فراهم می‌سازد.

پس‌زمینه و اهمیت پروژه

در دنیای مدل‌های زبانی بزرگ، بهینه‌سازی استنتاج نقش حیاتی در کاهش هزینه‌ها و افزایش سرعت دارد. پروژه‌هایی مانند vLLM یا SGLang استانداردهایی را در این زمینه ایجاد کرده‌اند. تیم DeepSeek در مستندات خود اشاره کرده است که DeepInfer در ابتدا بر پایه vLLM ساخته شده و از SGLang و TensorRT-LLM نیز الهام گرفته است. انتشار این فریمورک به توسعه‌دهندگان اجازه می‌دهد تا نگاهی دقیق به پشت صحنه سرویس‌دهی مدل‌های پیشرفته‌ای مانند DeepSeek-V4.1-Flash بیندازند و از بهینه‌سازی‌های آن بهره‌مند شوند.

جزئیات فنی و معماری

فریمورک DeepInfer با زبان Python توسعه یافته و برای اجرا روی سخت‌افزارهای مدرن طراحی شده است. از ویژگی‌های برجسته فنی آن می‌توان به موارد زیر اشاره کرد:

• هسته‌های بهینه‌شده: استفاده از هسته‌های سفارشی نظیر FlashMLA ،DeepGEMM ،DeepEP ،TileKernels ،DeepSelect و هسته‌های TileLang.
• مکانیزم‌های موازی‌سازی: پشتیبانی از Attention DP، سیستم تعادل‌یافته CP و ترکیب MoE EP به همراه EPLB.
• تکنیک‌های پیشرفته دکدینگ: استفاده از DSpark و اعتبارسنجی برنامه‌ریزی‌شده بر اساس میزان اطمینان (Confidence-scheduled verification).
• مدیریت حافظه و زمان‌بندی: زمان‌بندی ناهمگام (Asynchronous scheduling) برای همپوشانی زمان‌بندی دسته‌ها در CPU با اجرای دستگاه، استنتاج پایدار نسبت به دسته‌ها (Batch-invariant inference) و نمونه‌برداری قطعی (Deterministic sampling).
• خروجی‌های ساختاریافته: امکان محدودسازی تولید خروجی به الگوهای regex، اسماهای JSON یا گرامرهای EBNF.

این فریمورک از پردازنده‌های گرافیکی NVIDIA SM100 و پردازنده‌های هوش مصنوعی Huawei Ascend 950 NPU پشتیبانی می‌کند.

نحوه استفاده و راه‌اندازی

برای ساخت این پروژه از منبع، سیستم شما باید به لینوکس، GCC >= 13.0، پایتون ۳.۱۲ و ابزارهای سخت‌افزاری مناسب (CUDA 13 برای انویدیا یا CANN 9.2 برای هواوی) مجهز باشد.

ابتدا یک محیط مجازی پایتون ۳.۱۲ ساخته و فعال کنید، سپس دستورات زیر را اجرا کنید:

export DEEPINFER_ACCELERATOR=nvidia
./build.sh

برای اجرای استنتاج آفلاین نیز می‌توانید از اسکریپت‌های نمونه موجود در مخزن استفاده کنید:

python examples/offline_inference.py

سیگنال‌های بلوغ و وضعیت پروژه

این پروژه تحت مجوز آزاد Apache-2.0 منتشر شده است و تا زمان نگارش این مقاله توانسته بیش از ۳۳۰۰ ستاره در گیت‌هاب جذب کند که نشان‌دهنده توجه بالای جامعه مهندسی نرم‌افزار و هوش مصنوعی به آن است.

حاشیه‌ها و بحث‌های هکر نیوز

در بحث‌های هکر نیوز، کاربران به ابعاد تجاری و عملیاتی این انتشار اشاره کرده‌اند؛ از جمله گزارشی مبنی بر اینکه یک خوشه تک‌گروهی با استفاده از این فریمورک توانسته به throughput بالایی دست پیدا کند. همچنین طبق روال همیشه، برخی کاربران با شوخی پرسیدند چرا این ابزار با زبان Rust نوشته نشده است!