انتشار نسخه ۵ شاخص هوش مصنوعی Artificial Analysis؛ تغییرات اساسی در ارزیابی مدل‌های زبانی

پلتفرم مرجع Artificial Analysis نسخه پنجم شاخص هوش مصنوعی خود (Intelligence Index v5) را منتشر کرد. این نسخه بزرگ‌ترین به‌روزرسانی از زمان عرضه نسخه چهارم در ماه ژانویه محسوب می‌شود و تغییرات بنیادینی در نحوه ارزیابی مدل‌های زبانی بزرگ (LLM) ایجاد کرده است.

زمینه و تغییرات نسخه ۵

یکی از مهم‌ترین تحولات در نسخه پنجم این است که برای نخستین بار، بیش از ۶۰ درصد این شاخص بر پایه مجموعه‌داده‌های خصوصی یا پاسخ‌های محفوظ (Held-out) بنا شده است. هدف از این کار، کاهش خطر آلودگی داده‌ها (Contamination) و ارزیابی واقعی‌تر عملکرد مدل‌ها در سناریوهای دنیای واقعی است. هم‌چنین در کنار این شاخص، ابزار جدیدی به نام Progress Index v1 نیز برای ردیابی روند پیشرفت مدل‌ها در طول زمان معرفی شده است.

معیارهای جدید اضافه شده به نسخه ۵ عبارتند از:

• FrontierCode 2.0: ارزیابی کدهای دنیای واقعی (توسعه‌یافته توسط Cognition) که بر اساس پذیرش یا عدم پذیرش تغییرات توسط نگه‌دارندگان ریپازیتوری نمره‌دهی می‌شود.
• Terminal-Bench-Science: شامل ۷۰ وظیفه پژوهشی علمی که در محیط ترمینال اجرا می‌شوند.
• HLE-Diamond: نسخه اصلاح‌شده و ۱۰۰۰‌سوالی از آزمون Humanity's Last Exam که بین استدلال و دانش تقسیم شده است.
• AA-Omniscience v1.1 و CritPt v2: نسخه‌های بازبینی‌شده برای تست دانش و مسائل سخت فیزیک در محیط‌های سندباکس ایزوله.

ساختار وزن‌دهی جدید

شاخص هوش مصنوعی جدید وزن‌ها را به چهار بخش مساوی (هر کدام ۲۵ درصد) تقسیم کرده است:

• کارهای دانشی (Knowledge Work): شامل AA-Briefcase و AutomationBench-AA و GDP.pdf
• برنامه‌نویسی (Coding): شامل FrontierCode 2.0 و Terminal-Bench-4.0
• علوم (Science): شامل Terminal-Bench-Science و زیرمجموعه سخت CritPt v2
• عمومی (General): شامل AA-Omniscience v1.1 و HLE-Diamond

یافته‌های کلیدی برای مهندسان

• پیشتازی مدل‌های تجاری: مدل Claude Opus 5.5 (در بالاترین سطح تنظیمات) در رتبه اول شاخص کلی قرار دارد و پس از آن GPT-6 Astra و GPT-6.1 Sol از OpenAI دیده می‌شوند.
• شکاف مدل‌های متن‌باز: فاصله میان مدل‌های متن‌باز و مدل‌های پیشتاز افزایش یافته است. مدل Kimi K3.1 Pro (با وزن‌های هنوز منتشرنشده) بالاترین جایگاه را در بین مدل‌های متن‌باز دارد، اما مدل‌های دارای وزن آزاد با اختلاف عقب‌تر هستند.
• اهمیت تنظیمات تلاش (Effort Settings): در نسخه پنجم، میزان منابع مصرفی و تلاش مدل تأثیر چشمگیری بر نتایج دارد؛ به طوری که فعال‌سازی حالت‌های پیشرفته می‌تواند امتیاز مدل را به شدت افزایش دهد اما هزینه پردازش را تا بیش از ۱۰ برابر بالا ببرد.
• مصرف توکن: تسک‌های عاملی (Agentic) حجم عظیمی از توکن‌ها را مصرف می‌کنند و بیش از ۹۰ درصد خروجی توکن‌ها در این بنچمارک‌ها متعلق به بخش‌هایی مانند Terminal-Bench-Science است.

نگاه جامعه برنامه‌نویسان (Hacker News)

بحث‌های داغی پیرامون این نسخه در هکرنیوز شکل گرفته است. برخی کاربران به این نکته اشاره کرده‌اند که تغییر مداوم بنچمارک‌ها ممکن است رویکردی برای حفظ جایگاه مدل‌های غربی در صدر جدول باشد. از سوی دیگر، بحث‌هایی پیرامون تأثیر پرامپت‌های شخصیتی (مثل گفتن اینکه «تو یک برنامه‌نویس ارشد هستی») بر عملکرد واقعی مدل‌ها و چالش کوچک بودن حجم نمونه در برخی از این بنچمارک‌های گران‌قیمت مطرح شده است.