۱ مطلب با این برچسب
هنگام فاین‌تیون مدل‌ها با فرمت bf16 و به کارگیری مستقیم AdamW، تغییرات کوچک وزنی به دلیل محدودیت مانتیسا نادیده گرفته می‌شوند. این پدیده به طور ناخواسته مدل را به یک تمرین‌دهنده تنک (Sparse) تبدیل می‌کند که فقط وزن‌های کوچک را آپدیت کرده و بقیه را فریز می‌کند.
