چرا دنیای هوش مصنوعی با بحران «داده‌های آموزش پسین» روبه‌روست؟

مقدمه: شانس بزرگ ما در پیش‌آموزش

برای مدل‌های زبانی بزرگ یا همان LLMها، ما در فاز پیش‌آموزش (Pretraining) بسیار خوش‌شانس بودیم. در طول پنجاه سال گذشته، بشریت ناخودآگاه یک انبار عظیم و عمومی از دانش دیجیتال ایجاد کرده بود. پروژه‌هایی مثل ویکی‌پدیا، کدهای منبع متن‌باز روی GitHub، مقالات ArXiv، پروژه گوتنبرگ و از همه مهم‌تر آرشیوهای عظیم وب مانند Common Crawl، چیزی حدود ۱۰ پتابایت داده فراهم کردند که مدل‌هایی مثل GPT-3 و نسخه‌های اولیه Llama روی آن تمرین شدند.

اگرچه تمیز کردن این داده‌های خام و مقابله با هرزنامه‌ها کار ساده‌ای نبوده و نیست، اما این «کامنز دیجیتال» (Digital Commons) وجود داشت. آدم‌ها وبلاگ می‌نوشتند، در Stack Exchange سوال می‌پرسیدند و مستندات تولید می‌کردند؛ بدون اینکه هدفشان لزوماً آموزش هوش مصنوعی باشد.

چالش اصلی: پیش‌آموزش سند مصرف می‌کند، آموزش پسین وظیفه

امروزه تمرکز پژوهش‌های هوش مصنوعی به سمت فاز پسین (Posttraining) و به خصوص هوش مصنوعی عاملیت‌محور (Agentic AI) تغییر کرده است. درست مانند پیش‌آموزش، این مرحله نیز به حجم عظیمی از داده و پردازش نیاز دارد، اما تفاوت بنیادین اینجاست: هیچ انبار داده عمومی و آماده‌ای برای آموزش پسین وجود ندارد.

تفاوت اصلی در نوع داده است؛ پیش‌آموزش «سند» (Document) مصرف می‌کند، در حالی که آموزش پسین «وظیفه» (Task) مصرف می‌کند. کارهای روزمره انسان‌ها لحظه‌ای و ناپایدارند. کسی می‌خواهد کاری انجام دهد، دنیا به او واکنش نشان می‌دهد، اهداف تغییر می‌کنند و در نهایت یا موفق می‌شود یا شکست می‌خورد. این سناریوها تکرارپذیر نیستند.

برای استفاده از این رویکرد در یادگیری تقویتی (RL)، ما به سه مؤلفه نیازمندیم: یک محیط، یک نیت مشخص، و ابزارهایی برای تعامل با محیط، به همراه یک ارزیاب (Grader) که مشخص کند آیا نیت برآورده شده است یا خیر.

نرم‌افزار؛ تنها استثنای نسبی اما پر از چالش

تنها صنعتی که تا حدی کارهای خود را به شکل داده‌های ساختاریافته درآورده، توسعه نرم‌افزار است. مهندسان نرم‌افزار دهه‌هاست کارهای خود را با ابزارهایی مانند کنترل نسخه (Git)، CI/CD و محیط‌های کانتینری‌شده ثبت و ضبط می‌کنند.

اما تبدیل مخازن نرم‌افزاری به وظایف قابل استفاده برای یادگیری ماشین شبیه به «تولید کارخانه‌ای» است تا یک خلاصه‌سازی ساده. معیارهایی مانند SWE-bench نشان می‌دهند که ساخت این تسک‌ها چقدر دشوار است. از هزاران Pull Request بررسی‌شده در گیت‌هاب، بخش عمده‌ای به دلیل وابستگی‌های گم‌شده، خطاهای زمان اجرا یا تست‌های ناسازگار قابل استفاده نیستند. پروژه‌هایی مانند SWE-bench Verified نشان دادند که حتی پس از فیلترهای دستی فراوان، باز هم درصد بالایی از وظایف دچار مشکل یا تست‌های شکسته هستند.

چرا این موضوع برای مهندسان اهمیت دارد؟

اگر خودکارسازی وظایف در دنیای نرم‌افزار تا این حد پیچیده است، قطعا این فرآیند برای سایر بخش‌های اقتصاد (مثل حقوق، پزشکی و علوم) بسیار دشوارتر خواهد بود. برای سایر صنایع، حتی نقطه شروعی به عنوان «کامنز وظایف» وجود ندارد.

آزمایشگاه‌های بزرگ تجاری با استخدام متخصصان مختلف و پرداخت هزینه‌های گزاف، در حال تولید دستی این محیط‌ها و داده‌های ارزیابی هستند که به دارایی‌های اختصاصی آن‌ها تبدیل می‌شود. جامعه مدل‌های متن‌باز (Open Source) راه سختی در پیش دارد. اگر ما خواهان داشتن مدل‌های عاملیت‌محور کاملاً آزاد و متن‌باز هستیم، باید به شکلی سیستماتیک به استخراج، بازسازی و ساخت این محیط‌های RL بپردازیم.

نگاه کاربران هکرنیوز

در بحث‌های هکرنیوز پیرامون این موضوع، برخی کاربران اشاره کردند که ایجاد یک کامنز برای آموزش پسین احتمالاً نیازمند محافظت است، چرا که این داده‌ها با تلاش فراوان ساخته می‌شوند و به طور مستقیم روی بازار کار و درآمد انسان‌ها تأثیر می‌گذارند. برخی دیگر نیز پیشنهاد کرده‌اند که این کار ممکن است در قالب پروژه‌های کلان دولتی برای حفظ رقابت‌پذیری ملی پیگیری شود.