کاهش چشمگیر توکن‌های استدلال در مدل Gemma-4-26B با فناوری ThinkingCap — Gemma-4-26B-A4B with 39-69% less thinking at same accuracy
خلاصه
مدل جدید ThinkingCap-gemma-4-26B-A4B با کاهش میانگین ۳۹ درصدی توکن‌های استدلال و حفظ دقت مدل اصلی گوگل، هزینه‌های اینفرس را به‌طور قابل‌توجهی کاهش می‌دهد. این نسخه بدون نیاز به تغییر در تنظیمات سمپلینگ، به عنوان یک جایگزین مستقیم قابل استفاده است.
مدل‌های زبانی بزرگ استدلالی (Reasoning Models) به خاطر فرآیند فکر کردن پیش از پاسخ دادن شناخته شده‌اند؛ فرآیندی که اگرچه دقت پاسخ‌ها را بالا می‌برد، اما هزینه‌های اینفرس (Inference) را به شدت افزایش می‌دهد. تیم Bottlecap AI با معرفی مدل ThinkingCap-gemma-4-26B-A4B-it توانسته است این مشکل را تا حد زیادی برطرف کند.
زمینه و تکنولوژی ThinkingCap
این پروژه پنجمین مدل از سری ThinkingCap است و نخستین باری است که این تکنیک روی یک مدل از خانواده گوگل (Gemma) پیاده‌سازی می‌شود. مدل پایه یعنی gemma-4-26B-A4B-it یک مدل Sparse Mixture of Experts با ۲۶ میلیارد پارامتر است که حدود ۴ میلیارد پارامتر فعال در هر توکن دارد.
هدف اصلی در این بهینه‌سازی، کاهش تعداد توکن‌های تفکر (Thinking Tokens) بدون آسیب زدن به دانش، قابلیت‌های استدلالی، دستورپذیری و رفتارهای ایمنی مدل است.
جزئیات فنی و نتایج بنچمارک
بر اساس ارزیابی‌های انجام‌شده روی ۱۲ بنچمارک مختلف، نتایج به دست آمده بسیار امیدوارکننده است:
- کاهش توکن‌های تفکر: میانگین کاهش توکن‌های استدلال ۳۸.۹ درصدبوده و در برخی موارد تا ۶۹.۱ درصد (در بنچمارک LongBench v2) نیز کاهش یافته است.
- دقت مدل: تغییرات دقت بسیار ناچیز و میانگین آن منفی ۰.۱۵ درصد (0.15pp) بوده است که عموماً در محدوده خطای آماری قرار دارد.
- کاهش لوپ زدن (Looping): نرخ تکرار و گیر افتادن مدل در حلقه‌های بی‌پایان از ۳.۶ درصد در مدل اصلی به ۰.۸ درصد در نسخه ThinkingCap کاهش یافته است.
- سازگاری با پشته نرم‌افزاری: این مدل به صورت یک جایگزین مستقیم (Drop-in Replacement) طراحی شده و از همان تنظیمات سمپلینگ (مانند دما ۱.۰ و top_p 0.95) و استک سرویس‌دهی مثل
vLLMپشتیبانی می‌کند.
چرا این موضوع برای مهندسان نرم‌افزار اهمیت دارد؟
برای تیم‌های مهندسی که مدل‌های هوش مصنوعی را در مقیاس وسیع (Scale) اجرا می‌کنند، طولانی بودن زنجیره تفکر مدل‌ها چالش‌برانگیز است. توکن‌های بیشتر به معنای تأخیر (Latency) بالاتر و هزینه‌های سرسام‌آور سخت‌افزاری است.
این مدل نشان می‌دهد که می‌توان بدون افت کیفیت، سرعت پاسخ‌دهی را افزایش داد و هزینه‌های عملیاتی را کاهش داد. همچنین سازندگان نسخه‌ای به نام ThinkingCap PRO نیز ارائه داده‌اند که توکن‌های تفکر را تا ۸۷ درصد کاهش می‌دهد. ساختارهای GGUF این مدل نیز در کنار نسخه اصلی منتشر شده است تا توسعه‌دهندگان بتوانند به راحتی آن را تست و پیاده‌سازی کنند.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل