انتشار نسخه ۵.۰ شاخص هوش مصنوعی Artificial Analysis؛ بررسی دقیق‌تر عیار مدل‌های زبانی

پلتفرم Artificial Analysis نسخه جدید شاخص ارزیابی هوش مصنوعی خود (Intelligence Index v5.0) را منتشر کرد. این ابزار به عنوان یکی از مرجع‌های کلیدی برای مقایسه مدل‌های زبانی بزرگ (LLM) شناخته می‌شود و تلاش می‌کند با ترکیب مجموعه‌داده‌های مختلف، تصویری جامع از توانمندی مدل‌ها در استدلال، دانش، ریاضیات و برنامه‌نویسی ارائه دهد.

زمینه و اهمیت ارزیابی مدل‌ها

با افزایش تعداد مدل‌های هوش مصنوعی، مقایسه واقعی آن‌ها به یک چالش جدی برای مهندسان نرم‌افزار تبدیل شده است. بسیاری از بنچمارک‌های سنتی دچار مشکلاتی نظیر یادگیری از روی داده‌های تستی (Data Contamination) می‌شوند. نسخه جدید Artificial Analysis با رویکردی ساختاریافته تلاش می‌کند با ترکیب چندین بنچمارک معتبر، رتبه‌بندی عادلانه‌تری ارائه دهد.

جزئیات فنی نسخه ۵.۰

این نسخه جدید شامل ۹ ارزیابی متنوع است که به چهار دسته اصلی با وزن‌های مساوی تقسیم شده‌اند:

• ککدنویسی (Coding) و علوم (Science)
• کارهای دانش‌بنیان (Knowledge Work) و عمومی (General)

هر دسته ۲۵ درصد از امتیاز کل را تشکیل می‌دهد. در این نسخه، بنچمارک‌های جدیدی مانند AA-Briefcase v1.1 برای ارزیابی کارهای پیچیده و طولانی سازمانی، FrontierCode 2.0 و Terminal-Bench 4.0 اضافه شده‌اند. تمام مدل‌ها تحت شرایط کاملاً استاندارد و ایزوله (معمولاً در سندباکس‌های e2b) تست می‌شوند تا نتایج قابل اتکا باشند.

پارامترهای تست و اصول اجرایی

این پلتفرم برای حفظ عدالت در تست‌ها از اصول زیر پیروی می‌کند:

• تنظیمات دما (Temperature): مقدار صفر برای مدل‌های غیر-استدلالی و عدد ۰.۶ برای مدل‌های استدلالی.
• پرامپت‌های Zero-Shot: مدل‌ها بدون داشتن مثال‌های قبلی و صرفاً با اتکا به دستورالعمل‌های واضح ارزیابی می‌شوند.
• تکرار و پایداری: استفاده از سیستم‌های ارزیابی خودکار با قابلیت تلاش مجدد در صورت بروز خطاهای API.

دیدگاه جامعه توسعه‌دهندگان در Hacker News

در بحث‌های انجام‌شده در هکرنیوز، توسعه‌دهندگان به برخی نکات جالب و چالش‌برانگیز اشاره کردند. برای مثال، نحوه اجرای برخی بنچمارک‌ها مانند FrontierCode 2.0 و استفاده از ابزارهای مختلف برای مدل‌های شرکت‌های گوناگون (مانند استفاده از Claude Code برای انتروپیک و Devin برای مدل‌های متن‌باز یا گوگل) بحث‌برانگیز بوده و برخی کاربران معتقدند این موضوع ممکن است روی امتیاز نهایی مدل‌ها تأثیر بگذارد.