پروژه Qwenputer؛ اجرای یک پردازنده RISC-V واقعی درون وزن‌های مدل زبانی Qwen 3.5 — Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
خلاصه
پروژه Qwenputer یک پردازنده ۳۲ بیتی RISC-V را مستقیماً درون لایه‌های حافظه موقت (RNN) مدل Qwen 3.5 کامپایل کرده است. این سیستم بدون نیاز به ابزار خارجی یا ابهام‌زدایی، محاسبات دقیق، کدهای C و پایتون را درون وزن‌های مدل اجرا می‌کند.
نگاهی به Qwenputer: وقتی یک مدل زبانی کامپیوتر می‌شود
پروژه Qwenputer یک مدل تجربی مبتنی بر Qwen 3.5 4B است که یک ویژگی شگفت‌انگیز دارد: یک پردازنده ۳۲ بیتی RISC-V که مستقیماً درون وزن‌های مدل تعبیه شده است. این پردازنده از لایه‌های توجه خطی Gated DeltaNet (GDN) به عنوان حافظه RAM استفاده می‌کند.
برخلاف پلاگین‌ها یا محیط‌های ایزوله (Sandbox)، این سیستم کاملاً در جریان پاس‌های رو به جلو (forward passes) مدل اجرا می‌شود و می‌تواند محاسبات ریاضی و کدهای C و MicroPython را بدون هیچ‌گونه ابزار یا ران‌تایم خارجی پردازش کند.
نحوه تبدیل لایه‌های RNN به RAM دقیق
مدل‌های جدیدتر مانند Qwen 3.5 در اکثر لایه‌های توجه خود از یک RNN خطی به نام Gated DeltaNet استفاده می‌کنند. هر هد (Head) در این ساختار یک ماتریس حالت (State Matrix) دارد که به عنوان حافظه عمل می‌کند:
- گیت (Gate): قبل از نوشتن داده جدید، کل وضعیت در عددی بین صفر و یک ضرب می‌شود تا میزان فراموشی مشخص گردد.
- نرخ نوشتن (Beta): میزان جایگزینی مقادیر قدیمی با مقادیر جدید را تعیین می‌کند.
- کلیدهای One-Hot: با استفاده از این تکنیک، هر عملیات نوشتن دقیقاً روی یک سطر مشخص از حافظه تأثیر می‌گذارد.
این مکانیسم به لایه‌های GDN اجازه می‌دهد دقیقاً مانند حافظه RAM با هزینه‌ای بسیار کمتر از کش KV در ترنسفورمرهای سنتی عمل کنند.
کامپایل کردن یک کامپیوتر درون وزن‌های مدل
از آنجایی که حافظه RAM سریع و ارزان در اختیار داریم، طراح این پروژه توانسته است یک CPU کامپیوتر را مستقیماً به وزن‌های مدل کامپیبلو کند. هیچ فرایند آموزشی (Training) جدیدی در کار نیست؛ یک کامپایلر، دستورات مدار (مانند خواندن رجیسترها یا جمع زدن اعداد) را مستقیماً به اجزای لایه‌های ترنسفورمر ترجمه می‌کند.
هر دستورالعمل به چند توکن تولیدی تبدیل می‌شود: یک توکن برای تعیین آدرس حافظه (ADDR)، یک توکن برای مقدار (VAL) و یک توکن STEP برای پایان دستور. این توکن‌ها در واقع ردپای اجرای CPU هستند.
مشخصات فنی پردازنده و سیستم فایل
این پردازنده یک هسته RISC-V از نوع RV32IM (به همراه پسوند Zba و واحد محاسبات اعداد بزرگ) است و ۱۱ لایه را در ابتدای لایه‌های اصلی Qwen اشغال می‌کند. این پردازنده توانسته است تست‌های رسمی پردازنده‌های RISC-V را با موفقیت پشت سر بگذارد و میلیون‌ها دستورالعمل را بدون خطای محاسباتی اجرا کند.
علاوه بر این، یک سیستم فایل درون‌ساختی نیز برای این مدل پیاده‌سازی شده است که به مدل اجازه می‌دهد تا ۵۱۲ فایل (معادل حدود ۵۳,۰۰0 توکن) را ذخیره و بازیابی کند. این اطلاعات حتی بین گفتگوهای مختلف نیز پایدار می‌ماند.
چرا این پروژه برای مهندسان نرم‌افزار مهم است؟
- دقت بالا در محاسبات: در تست‌های محاسبات ریاضی بزرگ، Qwenputer عملکردی هم‌رده یا حتی بهتر از اتصال مدل به ابزار پایتون (Python Tool) ثبت کرده است.
- امنیت هوش مصنوعی (AI Safety): این پروژه یک بستر عالی برای تحقیق روی مدل‌های ترکیبی فراهم می‌کند؛ از جمله بررسی اینکه چگونه مدل‌های هیبریدی می‌توانند استدلال‌های خود را در حالت‌های RNN پنهان کنند.
- حذف وابستگی‌ها: نیازی به راه‌اندازی سرور ابزار یا محیط‌های ایمن جانبی برای محاسبات دقیق وجود ندارد.
این پروژه به صورت متن‌باز روی GitHub قرار دارد و وزن‌های آن در Hugging Face و ModelScope در دسترس توسعه‌دهندگان است.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل