فریم‌ورک Sleep در گوگل: راهکاری نوین برای یادگیری مداوم و یادگیری مدل‌های زبانی بزرگ

مدل‌های زبانی بزرگ (LLM) امروزی پس از مرحله پیش‌آموزش معمولاً به صورت ایستا باقی می‌مانند و دارای تاریخ انقضای دانش ثابت هستند. آپدیت مداوم پارامترها معمولاً منجر به پدیده‌ای به نام «فراموشی فاجعه‌بار» (Catastrophic Forgetting) می‌شود که در آن مدل با یادگیری تسک‌های جدید، کارایی خود را روی اطلاعات قبلی از دست می‌دهد. از سوی دیگر، تکیه صرف بر یادگیری درون‌متنی (ICL) نیز محدود به پنجره متنی فعلی است و با پایان نشست، اطلاعات از بین می‌روند. پژوهشگران Google Research فریم‌ورک جدیدی به نام Sleep را معرفی کرده‌اند که چرخه حیات مدل را به دو فاز فعال (Wake) و خواب (Sleep) تقسیم می‌کند.

معماری فازهای بیداری و خواب

در این رویکرد، مدل بین تعامل فعال و تثبیت آفلاین حافظه جابه‌جا می‌شود:

• فاز فعال (Wake): مدل ورودی‌ها را دریافت کرده و اطلاعات موقت را در مؤلفه‌های حافظه سریع ذخیره می‌کند.
• فاز خواب (Sleep): پردازش ورودی‌های جدید متوقف شده و محاسبات داخلی مدل به سمت تثبیت حافظه و خودبهبودی هدایت می‌شود بدون اینکه نیازی به تغییر معماری اصلی باشد.

مؤلفه‌های کلیدی فرآیند خواب

این فریم‌ورک از دو مرحله اصلی تشکیل شده است که چالش‌های یادگیری مداوم را حل می‌کنند:

۱. تثبیت حافظه (Memory Consolidation)

برای جلوگیری از فراموشی فاجعه‌بار، ظرفیت مدل در طول خواب به صورت پویا مقیاس‌گذاری می‌شود. با استفاده از معماری Mixture-of-Experts یا همان MoE و ساختارهای کم‌رتبه (Low-rank)، کارشناسان جدیدی برای ذخیره دانش ورودی ادغام می‌شوند. تکنیک‌های distillation و یادگیری تقویتی (RL) اطلاعات شکننده حافظه موقت را به پارامترهای بلندمدت پایدار منتقل می‌کنند. در نهایت، پارامترهای موقت پاکسازی می‌شوند تا فضای کافی برای نشست‌های فعال بعدی فراهم شود.

۲. رؤیاپردازی برای خودبهبودی (Dreaming)

الهام‌گرفته از مرحله REM در مغز انسان، این فاز یک حلقه خودبهبودی خودکار ایجاد می‌کند:

• انتخاب تصادفی کارشناسان: روتر MoE به صورت تصادفی کارشناسان غیرمعمول را فعال می‌کند تا مدل حوزه‌های دانشی متفاوت را ترکیب کند.
• تمرین‌های اصلاح‌شده: مدل نمونه‌های آموزشی مصنوعی تولید کرده و با فیلتر گرادیانی، بهترین نمونه‌ها را برای ارتقای توانایی مدل انتخاب می‌کند.

دستاوردهای عملی و مقایسه

بر اساس ارزیابی‌های انجام‌شده، فریم‌ورک Sleep در بنچمارک‌های مختلف نتایج درخشانی به همراه داشته است:

• در ترجمه مداوم برای زبان‌های جدید و دیده‌نشده، افت عملکرد نزدیک به صفر ثبت شد، در حالی که روش‌های سنتی مثل SFT دچار فراموشی شدید شدند.
• در درک متن‌های طولانی تا ۱۰ میلیون توکن روی بنچمارک BABILong عملکردی فراتر از مدل‌های قدرتمند قبلی ارائه داد.
• در استدلال ریاضی و افزودن دانش واقعی (Factual Knowledge) نیز بهبود چشمگیری نسبت به رویکردهای قبلی به دست آورد.

دیدگاه جامعه توسعه‌دهندگان (Hacker News)

در بحث‌های هکرنیوز، مهندسان به جزئیات جالبی از جمله مقایسه این روش با مکانیزم‌های KV-Cache و رویکردهای مشابه مبتنی بر بازخورد کاربران اشاره کردند. برخی کاربران این مقاله را نمونه‌ای درخشان از توانایی گوگل در بیان مفاهیم فوق‌العاده پیچیده علمی به زبانی قابل‌فهم برای مهندسان توصیف کردند؛ هرچند ابهاماتی درباره جزئیات پیاده‌سازی وزن‌های پنهان در طول چرخه خواب نیز مطرح شد.