نسخه پنجم Artificial Analysis و معمای سنجش مدل‌های هوش مصنوعی

مقدمه

ارزیابی مستقل مدل‌های زبان بزرگ (LLM) یکی از سخت‌ترین و در عین حال کم‌قدردانی‌شده‌ترین کارها در اکوسیستم هوش مصنوعی امروز است. با پیشرفت بسیار سریع فناوری، تلاش برای خلاصه کردن قابلیت‌های یک مدل در قالب یک عدد واحد با چالش‌های جدی روبه‌روست. این مقاله نگاهی دارد به انتشار نسخه پنجم شاخص هوش (Intelligence Index) توسط پلتفرم Artificial Analysis (AA) و معضلاتی که طراحان بنچمارک با آن دست‌وپنجه نرم می‌کنند.

چرا ساخت بنچمارک دشوار است؟

هر تلاشی برای ساخت یک بنچمارک جامع با یک پارادوکس اساسی مواجه است: از یک سو، جامعه و کسب‌وکارها به یک عدد واحد نیاز دارند تا مقایسه و گفت‌وگو درباره مدل‌ها ساده‌تر شود؛ از سوی دیگر، هر روش تجمیع نمرات با محدودیت‌ها و مصلحت‌اندیشی‌های خاص خود همراه است.

گروه‌های مستقل ارزیابی مانند AA در واقع تعیین‌کنندگان برندگان و بازندگان یک بازار تریلیون دلاری هستند و ناخواسته جهت پیشرفت هوش مصنوعی را هدایت می‌کنند. نسخه پنجم شاخص AA با وزن‌دهی جدیدی منتشر شده است که حوزه‌های زیر را پوشش می‌دهد:

• کارهای دانشی (Knowledge Work): با وزن ۲۵ درصد (شامل AA-Briefcase و GDP.pdf)
• برنامه‌نویسی (Coding): با وزن ۲۵ درصد (شامل FrontierCode و Terminal-Bench)
• علمی (Science): با وزن ۲۵ درصد (شامل Terminal-Bench-Science و CritPt)
• عمومی (General): با وزن ۲۵ درصد (شامل AA-Omniscience و HLE-Diamond)

مدل‌های متن‌باز در تقابل با مدل‌های تجاری

یکی از یافته‌های جالب در نسخه جدید این است که مدل‌های تجاری قدرتمند مانند محصولات OpenAI و Anthropic همچنان در حوزه‌هایی مانند علم و استدلال‌های پیچیده پیشتازند و فاصله خود را حفظ کرده‌اند. با این حال، ارزش واقعی مدل‌های متن‌باز (Open-weight) جای دیگری است:

• ارزان‌سازی و کالایی‌سازی استنتاج (Inference) در حوزه‌های با تقاضای بالا.
• امکان مالکیت هوش، شخصی‌سازی آن روی داده‌های داخلی و کنترل ایجنت‌های درون‌سازمانی.

با این وجود، یکی از بحث‌های مطرح شده این است که آزمایشگاه‌های مدل‌های متن‌باز گاهی روی بهینه‌سازی نمرات بنچمارک یا اصطلاحاً benchmaxxing می‌آورند. به همین دلیل، AA به سمت استفاده از بنچمارک‌های خصوصی (Private benchmarks) رفته است تا از سوگیری در آموزش جلوگیری کند؛ هرچند این تصمیم بحث‌برانگیز است زیرا شفافیت جامعه‌محور را کاهش می‌دهد.

نگاه جامعه هکرنیوز

بحث‌های شکل‌گرفته در هکرنیوز ابعاد جالبی به این موضوع اضافه می‌کند:

• برخی کاربران اشاره کرده‌اند که بنچمارک‌ها معمولاً مدل‌ها را در بالاترین و شدیدترین سطح تنظیم استدلال (max reasoning effort) تست می‌کنند، در حالی که کاربران واقعی در پروژه‌های روزمره از این تنظیمات استفاده نمی‌کنند.
• عده‌ای دیگر خواستار شفافیت بیشتری در تغییر معیارهای بنچمارک شدند؛ مثلاً از پیش اعلام شود که با نزدیک شدن نمره مدل‌های برتر به یکدیگر، دقیقاً چه زمانی شاخص‌ها به‌روزرسانی خواهند شد.
• همچنین نظراتی وجود داشت که نشان می‌دهد شرکت‌های بزرگ مانند OpenAI و Anthropic مدت‌هاست دیگر توجه چندانی به این شاخص‌های عمومی ندارند و تمرکز اصلی خود را روی کاربردهای سازمانی و اتوماسیون داخلی گذاشته‌اند.

چرا این موضوع برای مهندسان اهمیت دارد؟

برای توسعه‌دهندگان نرم‌افزار، تکیه کورکورانه به شاخص‌های تک‌رقمی هوش مصنوعی می‌تواند گمراه‌کننده باشد. مدل‌های هوش مصنوعی بسیار ناهموار (Jagged) هستند و عملکرد آن‌ها بسته به حوزه کاری (برنامه‌نویسی در برابر کارهای عمومی) تفاوت چشمگیری دارد. درک نحوه سنجش این مدل‌ها به مهندسان کمک می‌کند تا بر اساس نیازهای واقعی پروژه خود و نه صرفاً عدد اعلام‌شده در جدول‌های رده‌بندی، مدل مناسب را انتخاب کنند.