اجرای استارکرفت توسط مدل‌های هوش مصنوعی در بنچمارک StarSkirmish Bench v0.2 — Show HN: Gemini 4 Argon plays StarCraft
خلاصه
بنچمارک StarSkirmish ارزیابی می‌کند که مدل‌های بزرگ زبانی طی یک ساعت چطور ربات‌های بازی StarCraft را با C++ توسعه می‌دهند. این ابزار استدلال طولانی‌مدت و قابلیت‌های برنامه‌نویسی عاملیت‌پذیر (Agentic) هوش مصنوعی را به چالش می‌کشد.
زمینه و معرفی بنچمارک
بازی StarCraft: Brood War مدت‌هاست که به عنوان یکی از چالش‌های بزرگ در هوش مصنوعی شناخته می‌شود. نسخه جدید بنچمارک StarSkirmish که با نام v0.2 منتشر شده است، شرایطی را فراهم می‌کند تا مدل‌های پرچمدار هوش مصنوعی (مانند محصولات OpenAI، Anthropic، گوگل و متا) مهارت خود را در نوشتن ربات بازی با استفاده از زبان C++ بسنجند.
در این بنچمارک، هر مدل زبانی یک ساعت زمان دارد تا یک ربات نژاد Protoss بنویسد. ربات‌های نهایی در یک مسابقه تورنمنت‌مانند در برابر مجموعه‌ای از ربات‌های رقابتی که توسط انسان‌ها نوشته شده‌اند و همچنین ربات‌های دمو ارزیابی می‌شوند. امتیاز نهایی هر مدل، میانگین نرخ برد آن در چندین اجرای مختلف است.
جزئیات فنی و پیاده‌سازی
فرایند کار مدل‌های هوش مصنوعی با یک ربات اسکلتی (Skeleton Bot) آغاز می‌شود که تنها قابلیت استخراج منابع را دارد. این اسکلت با کدهای سه ربات دمو و دو کتابخانه استاندارد تحلیل نقشه و شبیه‌سازی مبارزه (شامل BWEM و FAP) همراه است. ابزارها و محیط اجرایی این آزمایش دارای ویژگی‌های زیر است:
- محیط اجرایی اختصاصی: مدل‌ها در ابزارهای CLI اختصاصی هر شرکت (مانند Claude Code، Codex، Antigravity CLI و Muse Code) و با بالاترین تنظیمات استدلال اجرا می‌شوند.
- مدیریت کانتکست: کانتکست مدل‌ها روی حدود ۲۵۰ هزار توکن محدود شده و پس از پر شدن، فشرده‌سازی خودکار انجام می‌شود.
- دسترسی به شبکه: هیچ‌گونه دسترسی به اینترنت یا ابزار جستجوی وب وجود ندارد و ساعت از زمان شروع به کار ایجنت محاسبه می‌شود.
- قوانین بازی: بازی‌ها در سه نقشه روی موتور OpenBW و پروتکل BWAPI 4.4.0 انجام می‌شوند.
رفتار مدل‌ها و نتایج کلیدی
نتایج نشان می‌دهد که مدل‌ها رفتارهای متفاوتی از خود بروز می‌دهند. یکی از جالب‌ترین یافته‌ها این است که قوی‌ترین پیش‌بینی‌کننده امتیاز یک مدل، میزان تمرین دادن رباتش در طول ساعت اختصاص‌یافته در برابر قوی‌ترین ربات‌های موجود در لیست است. مدل‌هایی که زودتر بازی در برابر حریفان قدرتمند را شروع می‌کنند، در نهایت امتیاز بالاتری کسب خواهند کرد.
از نظر عملکردی، مدل‌های برتر فاصله زیادی با بهترین ربات‌های دست‌ساز انسان دارند؛ به طوری که بهترین مدل در این نسخه تنها درصد کمی از بازی‌ها را در برابر ربات‌های انسانی برتر مانند Stardust یا PurpleWave برنده می‌شود.
دیدگاه جامعه توسعه‌دهندگان (هکر نیوز)
در بحث‌های هکر نیوز، مهندسان به نکات جالب توجهی اشاره کردند:
- مشکل بازآفرینی از دادگان آموزشی: برخی کاربران اشاره کردند که از آنجایی که پیاده‌سازی‌های زیادی از ربات‌های استارکرفت در گیت‌هاب وجود دارد، این بنچمارک تا حدی به چالش بازیابی از حافظه آموزشی (Recall) تبدیل می‌شود.
- همبستگی با سایر بنچمارک‌ها: جالب است که رتبه‌بندی مدل‌ها در این بنچمارک شباهت زیادی به نتایج ارزیابی‌های هوش مصنوعی در بازی Go دارد که نشان‌دهنده هم‌پوشانی معیارهای استدلال طولانی در مسائل مختلف است.
- اهمیت ابزار و هارنس: توسعه‌دهندگان تأکید کردند که ابزار هارنس (Harness) و محیط CLI نقش بسیار بزرگی در عملکرد نهایی مدل‌ها دارد و تغییر آن می‌تواند نتایج را به شدت دگرگون کند.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل