شکاف بزرگ در ارزیابی هوش مصنوعی: ۹۰ درصد از ساعات کاری در بنچمارک‌ها غایبند

ادعاهای پیرامون توانایی‌های هوش مصنوعی و جایگزینی آن با نیروی کار انسانی این روزها تیتر اول رسانه‌ها است؛ از حل معماهای الگوریتمی گرفته تا قبولی در آزمون‌های دشوار حقوق و پزشکی. اما پژوهشی تازه توسط پلتفرم Mercor نشان می‌دهد که معیارها و بنچمارک‌های فعلی ارزیابی AI تصویر بسیار ناقص و گمراه‌کننده‌ای از قابلیت‌های مدل‌ها در «دنیای واقعی کار» ارائه می‌دهند. طبق این تحقیق، ۹۰ درصد از مجموع ساعات کاری شاغلان در آمریکا بر وظایفی متمرکز است که پوشش بسیار ضعیفی در بنچمارک‌های موجود دارند یا اصلاً سنجیده نمی‌شوند.

نقشه‌برداری از اقتصاد واقعی: مقایسه O*NET با بنچمارک‌ها

محققان برای ارزیابی این شکاف به سراغ چارچوب O*NET (سیستم طبقه‌بندی مشاغل وزارت کار ایالات متحده) رفتند. این پایگاه داده نیروی کار را به ۹۲۳ شغل و در مجموع ۱۸٬۷۹۷ «وظیفه کاری» (Task) مشخص تقسیم می‌کند.

تیم تحقیق ۲۹ بنچمارک برجسته، فعال و مبتنی بر عامل (Agentic) مثل بنچمارک‌های APEX را برگزیدند که به‌جای پرسش و پاسخ متنی، حل مسائل کاربردی و واقعی را آزمایش می‌کنند. سپس با کمک مدل‌های زبانی ارزیاب، پرامپت‌ها و آزمون‌های این بنچمارک‌ها را به وظایف O*NET متصل کردند. تعریف آنها برای یک وظیفه «پوشش‌داده‌شده» این بود که حداقل ۵ پرامپت در بنچمارک‌ها به آن کار مربوط باشد.

یافته‌ها نگران‌کننده بودند:

• از میان ۹۲۳ شغل رسمی، تنها ۲۰۸ شغل وظیفه‌ای داشتند که لااقل ۵ پرامپت بنچمارکی آن را پوشش دهد.
• از ۲۲ خانواده شغلی بزرگ، در ۶ دسته بزرگ اساساً هیچ وظیفه‌ای پوشش نیافته بود.
• پس از وزن‌دهی به سهم ساعات کاری، مشخص شد حدود ۹۰ درصد زمان کاری اقتصاد آمریکا هیچ همپوشانی معناداری با معیارهای ارزیابی هوش مصنوعی کنونی ندارد.

تمرکز نامتوازن روی مشاغل گران‌قیمت

این پوشش ناقص تصادفی نیست. جامعه توسعه‌دهندگان هوش مصنوعی تمرکز خود را روی وظایفی گذاشته‌اند که هم بیشتر در معرض اتوماسیون (AI-exposure) قرار دارند و هم دستمزدهای کلان در آنها گردش می‌کند.

برای مثال، وظایف یک وکیل حقوقی تحت پوشش سنگین انواع بنچمارک‌ها قرار دارد، اما وظایف کاری دستیاران حقوقی یا منشی‌های دادگاه با وجود ارتباط تنگاتنگ با متن و اطلاعات، تقریباً در این آزمون‌ها غایب هستند. مشاغل حوزه مهندسی نرم‌افزار و تحلیل مالی سهم عظیمی از آزمون‌ها را به خود اختصاص داده‌اند، در حالی که دنباله بزرگی از مشاغل درآمد متوسط اداری، عملیاتی یا کارهای مرتبط با هماهنگی انسانی نادیده گرفته شده‌اند.

چرا این شکاف برای مهندسان و معماران سیستم اهمیت دارد؟

توسعه‌دهندگان و شرکت‌هایی که به دنبال پیاده‌سازی سیستم‌های هوش مصنوعی هستند، اغلب با ارقام تبلیغاتی فوق‌العاده‌ای در لیدربوردهای هوش مصنوعی مواجه می‌شوند، اما در زمان ورود به محیط Production با شکست یا افت شدید بهره‌وری مواجه می‌شوند. این پژوهش ریشه مسئله را توضیح می‌دهد: مدل‌ها در وظایفی که سنجیده می‌شوند قوی به نظر می‌رسند، اما کار روزمره یک سازمان پر از جزئیات و زنجیره‌ای از کارهای کوچک است که هرگز در فاز بنچمارک وارد نشده‌اند.

در بحث‌های کاربران Hacker News نیز نکات مهمی پیرامون این پژوهش مطرح شد:

• مغالطه دربان (Doorman Fallacy): مانند جایگزین کردن دربان با یک درِ اتوماتیک؛ در ظاهر کار «باز کردن در» اتوماسیون شده است، اما کارکردهای ثانویه مانند خوش‌آمدگویی، امنیت محیطی و تعامل انسانی فراموش شده‌اند.
• مشکل کشف خطا: بنچمارک‌ها عمدتاً توانایی مدل در «ساخت یا کدنویسی» را ارزیابی می‌کنند، اما بخش عمده‌ای از زمان مهندسان و کارمندان صرف تشخیص خطا، اعتبارسنجی فرضیات و جلوگیری از اشتباهات ظریف می‌شود.
• بیماری هزینه‌ای بومول (Baumol's Cost Disease): با فوق‌سریع شدن یک کار (مثل اسکریپت‌نویسی با ابزارهای AI)، کارهای حاشیه‌ای، جلسات هماهنگی، مستندسازی و بررسی خطرات سهم بسیار بزرگ‌تری از زمان کاری تیم‌ها را اشغال می‌کنند.

نگاه به آینده

اگر به دنبال تصویر درستی از اثرگذاری هوش مصنوعی بر اقتصاد نرم‌افزار و نیروی کار هستیم، بنچمارک‌ها باید از نمونه‌های مصنوعی سوال و پاسخ یا کدهای ایزوله فاصله بگیرند و به سمت سنجش تعامل، مدیریت جریان کار (Workflow) و خطایابی در بستر عملیاتی پیش بروند. تا آن زمان، لیدربوردهای پر زرق‌وبرق تنها پنجره‌ای بسیار باریک به واقعیت کار ما خواهند بود.