مدل Ripple-65B؛ رقیب جدید و کم‌هزینه متن‌باز در حوزه کدنویسی ایجنتیک

معرفی مدل Ripple-65B Preview

لابراتوار هوش مصنوعی Ricursive Intelligence مدل جدیدی به نام Ripple-65B Preview را معرفی کرده است که نسخه‌ای عمومی از مدل اختصاصی آن‌ها برای طراحی تراشه‌های هوش مصنوعی محسوب می‌شود. این مدل روی ۱۲ تریلیون توکن پیش‌آموزش دیده و از طول زمینه (Context Length) تا ۱ میلیون توکن پشتیبانی می‌کند. هدف اصلی این پروژه ارائه عملکردی پیشرو در سطح مدل‌های متن‌باز آمریکایی، به‌ویژه در حوزه کدنویسی ایجنتیک (Agentic Coding) بوده است.

این مدل توانسته است در بنچمارک TerminalBench 2.1 امتیاز ۸۰.۵۲ را کسب کند و مدل‌های بسیار بزرگ‌تری مانند Reflection Beam 501B و NVIDIA Nemotron 3 Ultra 550B را پشت سر بگذارد. مدل Ripple-65B روی پلتفرم‌هایی نظیر Hugging Face و Together AI در دسترس قرار گرفته است.

جزئیات فنی و معماری مدل

برخلاف بسیاری از مدل‌های بزرگ امروزی که از معماری Mixture-of-Experts یا همان MoE استفاده می‌کنند، تیم Ricursive تصمیم گرفت یک مدل متراکم (Dense Transformer) مدرن بسازد تا پیچیدگی زیرساختی آموزش و سرویس‌دهی کاهش یابد. از مهم‌ترین ویژگی‌های معماری و مهندسی این مدل می‌توان به موارد زیر اشاره کرد:

• نسبت ابعادی باریک و عمیق (Thin-and-Deep): استفاده از d_model برابر با ۵۱۲۰ و ۸۰ لایه مجزا.
• بهینه‌سازی لایه‌ها: افزایش تعداد هدهای توجه، تنظیم نسبت لایه‌های SWA به جهانی و کاهش اندازه پنجره SWA.
• تکنیک‌های نوین: استفاده از FFN activation clipping، توجه گیت‌شده (Gated Attention)، مقداردهی Global NoPE و پسماندهای ارزشی (Value Residuals).
• کارایی سخت‌افزاری: دستیابی به نرخ بهره‌وری MFU حدود ۴۰ درصد در طول مراحل پیش‌آموزش و پس‌آموزش بدون نیاز به کرنل‌های سفارشی یا کوانتیزاسیون سنگین.

کاهش چشمگیر هزینه‌های آموزش

یکی از ادعاهای جالب این تیم، هزینه کل ۳۲ میلیون دلاری برای توسعه و آموزش Ripple-65B Preview است. این رقم شامل تمام مراحل تحقیق و توسعه، ساخت نردبان‌های پیش‌آموزش (Pretraining Ladder)، ترکیب داده‌ها، ارزیابی، تولید داده‌های مصنوعی و اجرای نهایی بوده است. این هزینه کسری از بودجه‌های کلان صدها میلیون دلاری است که معمولاً برای آموزش مدل‌های مرز فناوری صرف می‌شود.

همچنین در بخش یادگیری تقویتی (RL)، این تیم به جای رویکردهای پرهزینه، از خطوط لوله داده‌های مصنوعی و ترکیب بهینه‌ای از نمونه‌برداری ترجیحی و جریمه طول خط استفاده کرد. آن‌ها توانستند با تنها ۱.۴ میلیون Rollout به نتایج مطلوب برسند که بسیار کمتر از روش‌های مشابه قبلی است.

دیدگاه جامعه توسعه‌دهندگان (هکر نیوز)

در بحث‌های شکل‌گرفته پیرامون این انتشار در هکر نیوز، برخی کاربران به نکاتی اشاره کردند:

• انتقاداتی درباره عدم مقایسه این مدل با برخی مدل‌های متن‌باز دیگر (مانند سری Qwen) مطرح شد.
• برخی کاربران نام‌گذاری شرکت (Ricursive) را با پروژه‌های مشابه دیگر کمی گیج‌کننده دانستند.
• با این حال، کارایی بالا در کنار مصرف حافظه مناسب برای اجرا روی سخت‌افزارهای محلی، از نکات مثبت مورد توجه مهندسان بود.

چرا این مدل برای مهندسان اهمیت دارد؟

برای برنامه‌نویسان و مهندسان هوش مصنوعی، Ripple-65B نشان می‌دهد که ساخت مدل‌های قدرتمند تخصصی در حوزه کدنویسی لزوماً نیازمند صدها میلیون دلار بودجه نیست. معماری متراکم این مدل به همراه پشتیبانی از متن‌های بسیار طولانی، امکان اجرای کارآمد روی دستگاه‌های محلی با پهنای باند حافظه نسبتاً پایین را فراهم می‌کند و ابزاری قدرتمند برای تسک‌های ایجنتیک به شمار می‌رود.