آموزش مدل زبانی برای پاسخ‌گویی بدون استفاده از حرف E روی کارت گرافیک خانگی

مقدمه و زمینه پروژه

مدل‌های زبانی بزرگ (LLM) متن را به جای حروف و کلمات، به شکل توکن پردازش می‌کنند. این ویژگی باعث می‌شود کارهایی که نیاز به بررسی دقیق حروف دارند، مانند شمردن تعداد تکرار یک حرف خاص یا نوشتن متن‌های لیپوگرام (متن‌هایی بدون استفاده از یک حرف مشخص)، برای مدل‌ها بسیار چالش‌برانگیز باشد. نویسنده پروژه با الهام از پروژه‌های هوش مصنوعی، تصمیم می‌گیرد مدل Qwen3-1.7B را روی یک کارت گرافیک ۱۶ گیگابایتی شخصی بهینه‌سازی کند تا به پرسش‌های روزمره بدون استفاده از حرف e یا E پاسخ دهد.

تعریف وظیفه و چالش‌ها

هدف اصلی پاسخ به پرسش‌های عمومی با حداکثر ۳۰۰ توکن است، به طوری که دو شرط اصلی رعایت شود:

• خروجی به هیچ عنوان شامل حرف e (حتی حروف صدادار نشانه‌گذاری شده یا حروف بزرگ) نباشد.
• پاسخ‌ها از نظر نگارشی درست و کاملاً معنادار باشند.

تلاش اولیه با دستورالعمل ساده به مدل شکست خورد و مدل همچنان از حرف e استفاده کرد. استفاده صرف از یادگیری تقویتی (RL) نیز به تنهایی باعث تولید متن‌های نامفهوم و رندوم شد. استفاده از یک ماسک در زمان اینفرنس (که امتیاز توکن‌های حاوی حرف e را به منفی بی‌نهایت تبدیل می‌کند) مانع از نوشتن این حرف شد، اما مدل بدون آموزش دیدن، دچار تکرار کلمات یا تولید متن‌های بی‌معنی می‌شد.

آموزش با نمونه داده‌ها (SFT)

نویسنده برای بهبود کیفیت، از آموزش نظارت‌شده (Supervised Fine-Tuning) استفاده کرد:

• آموزش روی رمان‌های بدون حرف e (مانند کتاب Gadsby) تاثیر چشمگیری نداشت؛ زیرا مدل یاد می‌گیرد متن طولانی تولید کند نه پاسخ به پرسش.
• ساخت یک مجموعه داده کوچک از پاسخ‌های بدون e به پرسش‌ها با کمک مدل‌های پیشرفته‌تر (Frontier Models) و آموزش LoRA روی آن‌ها، نتایج بسیار بهتری به همراه داشت و نرخ پاسخ‌های معنادار را افزایش داد.

یادگیری تقویتی (RL) و ارزیابی با داور

در مرحله پایانی، از یک مدل داور برای امتیازدهی به منسجم بودن و کیفیت پاسخ‌ها استفاده شد. فرآیند آموزش با الگوریتم RL (مشابه GRPO) روی کارت گرافیک خانگی با تنظیمات زیر اجرا شد:

• انتخاب دسته‌هایی از پرسش‌ها در هر مرحله.
• تولید چند پاسخ برای هر پرسش با فعال بودن ماسک.
• امتیازدهی موازی داور به پاسخ‌ها بر اساس میزان انسجام و مرتبط بودن.
• به‌روزرسانی آداپتور LoRA بر اساس پاداش به دست آمده.

چرا این پروژه برای مهندسین اهمیت دارد؟

این پروژه نشان می‌دهد که چگونه می‌توان محدودیت‌های ساختاری مدل‌های زبانی مبتنی بر توکن را با ترکیب تکنیک‌های مهندسی مثل Logit Masking، تنظیم دقیق نظارت‌شده (SFT) و یادگیری تقویتی (RL) در منابع سخت‌افزاری محدود (یک GPU شانزده گیگابایتی) دور زد و رفتار یک مدل هوش مصنوعی را به شکلی خلاقانه کنترل کرد.

حواشی و دیدگاه کاربران هکرنیوز

در بحث‌های هکرنیوز، برخی کاربران به شوخی ابراز امیدواری کرده بودند که خود مقاله اصلی نیز بدون استفاده از حرف e نوشته شده باشد که البته چنین نبود! همچنین برخی دیگر به خروجی‌های طنزآموز و عجیب مدل در مراحل اولیه اشاره کردند.