زامین‌آماری هوش مصنوعی؛ چرا فقط نیمی از آمار ارائه‌شده توسط LLMها ریشه در حقیقت دارد؟ — Zombie stats: Where the numbers AI quotes come from
خلاصه
پژوهشی جدید نشان می‌دهد که تنها ۴۰ درصد از آمارهای ارائه‌شده توسط مدل‌های هوش مصنوعی به یک پژوهش معتبر ختم می‌شوند و مابقی در چرخه‌ای از ارجاعات کور و بدون پشتوانه گم شده‌اند. این مسئله برای مهندسان نرم‌افزار و توسعه‌دهندگانی که بر داده‌های سیستم‌های هوش مصنوعی تکیه می‌کنند، زنگ خطری جدی درباره اعتبار ارجاعات و توهم آماری است.
استفاده روزافزون از مدل‌های زبانی بزرگ (LLM) مانند ChatGPT ،Claude ،Gemini و Perplexity باعث شده است که کاربران برای دریافت پاسخ‌های سریع به آن‌ها اعتماد کنند. با این حال، یک تحقیق جدید روی نزدیک به ۱۳۰۰ آماری که توسط این ابزارها نقل شده، حقایق نگران‌کننده‌ای را درباره اعتبار این اعداد آشکار کرده است. در این مقاله بررسی می‌کنیم که این آمارها از کجا می‌آیند و چرا اعتماد به ارجاعات هوش مصنوعی می‌تواند فریبنده باشد.
پدیده «آمارهای زامبی» در هوش مصنوعی
مسئله اصلی این نیست که هوش مصنوعی اعداد را از خودش درمی‌آورد؛ در واقع حدود ۸۲ درصد مواقع، در صفحه‌ای که هوش مصنوعی به‌عنوان منبع معرفی می‌کند، آن عدد وجود دارد. مشکل اصلی اینجاست که آن صفحه خودش از کجا آمده است! پژوهشگران مسیر ارجاعات را تا پنج سطح دنبال کردند و نتایج زیر به دست آمد:
- ۴۰ درصد سورس‌شده: مسیر ارجاع به یک پژوهش معتبر ختم شد که ادعای مشابهی را مطرح می‌کرد.
- ۸ درصد تغییریافته: پژوهش اصلی پیدا شد، اما اعداد، جامعه آماری یا بستر زمانی و مکانی آن در طول زنجیره نقل‌قول تغییر کرده بود.
- ۴۰ درصد غیرقابل بررسی: منبع ذکرشده وجود خارجی داشت اما قفل‌شده بود، حذف شده بود یا اصلاً اشاره‌ای به آن عدد نداشت.
- ۱۱ درصد بی‌سرزمین: هیچ پژوهش یا منبعی در طول زنجیره وجود نداشت و سایت‌ها صرفاً عدد را بدون هیچ پشتوانه‌ای کپی کرده بودند.
این اعدادِ معلق که در وب می‌چرخند و هیچ پژوهش علمی پشت آن‌ها نیست، اصطلاحاً «آمارهای زامبی» (Zombie Stats) نامیده می‌شوند.
چطور یک عدد معنای خود را گم می‌کند؟
یکی از نمونه‌های بارز این زنجیره، ادعای معروف «۹۴ درصد از اولین برخوردها با یک وب‌سایت مربوط به طراحی آن است» بود. وقتی محققان این زنجیره را دنبال کردند، به یک پژوهش در سال ۲۰۰۴ رسیدند که در آن ۱۵ زن درباره دلیل رد کردن وب‌سایت‌های حوزه سلامت نظر داده بودند و ۹۴ درصد نظرات منفی آن‌ها مربوط به طراحی بود. طی سال‌ها بازنویی توسط بلاگ‌های شرکتی و مقالات زرد، این نظر محدود به ۱۵ زن در حوزه سلامت، به یک قانون مطلق و جهانی برای تمامی وب‌سایت‌ها تبدیل شد!
نکته جالب اینجاست که بیش از نیمی از ارجاعات اولیه هوش مصنوعی به بلاگ‌های شرکت‌ها اشاره می‌کنند و نه مقالات پژوهشی یا نهادهای دولتی. وقتی منبع اولیه یک بلاگ شرکتی یا سایت‌های جمع‌آوری آمار باشد، احتمال اینکه به یک پژوهش مستند برسید به‌شدت افت می‌کند.
تفاوت عملکرد مدل‌ها و اجماع فریبنده
در میان ابزارهای بررسی‌شده، ChatGPT کمترین تعداد آمار را در پاسخ‌های خود نقل کرد (به طور میانگین ۱.۳ آمار در هر پاسخ) اما بالاترین نرخ استناد درست (۵۷ درصد) را داشت. در مقابل، مدل‌هایی مثل Claude با نقل نزدیک به ۷ آمار در هر پاسخ، دقت کمتری در ریشه‌یابی داشتند.
یکی دیگر از خطاهای شناختی رایج میان کاربران، «توهم اجماع» است. کاربران فکر می‌کنند اگر چند مدل هوش مصنوعی یا چندین سایت مختلف یک عدد واحد را اعلام کنند، حتماً آن عدد حقیقت دارد. این در حالی است که پژوهش نشان داد حتی وقتی هر ۵ دستیار هوش مصنوعی یک آمار مشابه را تکرار کردند، بسیاری از آن‌ها هیچ پژوهش واقعی پشت خود نداشتند.
نگاه جامعه هکرنیوز
بحث پیرامون این مقاله در Hacker News نیز داغ بود. برخی کاربران به ویژگی جالب Perplexity اشاره کردند که تلاش می‌کند هر جمله را به یک مقاله آکادمیک ارجاع دهد، و آن را ابزاری قدرتمند برای افزایش اعتماد دانستند. با این حال، دیدگاه کلی این است که خطاهای انسانی در تولید محتوا و کپی‌کار بودن وب، توسط مدل‌های هوش مصنوعی بازنمایی و تشدید می‌شود.
چرا برای مهندسان اهمیت دارد؟
برای توسعه‌دهندگان و مهندسانی که سامانه‌های مبتنی بر RAG (بازیابی-پاسخ‌دهی) یا ابزارهای تحلیل داده می‌سازند، این گزارش یک هشدار مهم است:
- اعتماد مطلق ممنوع: وجود لینک یا ارجاع در خروجی LLM تضمینی بر صحت علمی آن منبع نیست.
- زنجیره تامین داده: استناد به بلاگ‌ها و سایت‌های تجاری می‌تواند سیستم شما را در معرض داده‌های بی‌اساس قرار دهد.
- طراحی سیستم‌های هوشمند: هنگام ساخت ابزارهای مستندسازی یا دستیارهای پژوهشی، باید مکانیسم‌هایی برای اعتبارسنجی عمیق‌تر (Deep Verification) منابع تعبیه کرد تا از بازنشر آمارهای زامبی جلوگیری شود.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل