تولید ۵۰ هزار آمار جعلی؛ چگونه یک دامنه بی‌نام‌ونشان راه خود را به پاسخ‌های هوش مصنوعی باز کرد — Publish fake stats, get cited in LLMs
خلاصه
یک پژوهشگر با انتشار ۵۰ هزار آمار کاملاً جعلی در یک وب‌سایت جدید نشان داد که مدل‌های زبانی بزرگ مانند ChatGPT برخلاف گوگل، این محتواها را رتبه‌بندی و مکرراً ارجاع می‌دهند. این آزمایش زنگ خطری جدی درباره پدیده «پولشویی استنادی» و مشکلات اعتباروسنجی در موتورهای جستجوی مبتنی بر هوش مصنوعی است.
مقدمه و زمینه
با افزایش تمایل سیستم‌های جستجوی مبتنی بر هوش مصنوعی به ارائه پاسخ‌های دقیق و مستند، نوع جدیدی از بهینه‌سازی موتورهای جستجو به نام GEO (Generative Engine Optimization) مطرح شده است. در حالی که کارشناسان سئو سال‌هاست روی رتبه‌بندی در گوگل تمرکز کرده‌اند، یک آزمایش تازه نشان می‌دهد که رفتار موتورهای جستجوی مبتنی بر LLM تفاوت‌های ساختاری عمیقی با گوگل دارد و ممکن است فریب داده شود.
ماجرای آزمایش ۵۰ هزار آمار ساختگی
یک متخصص سئو و هوش مصنوعی به نام Metehan Yesilyurt تصمیم گرفت فرضیه خود را درباره نحوه کارکرد بازیابی اطلاعات در هوش مصنوعی آزمایش کند. او یک دامنه کاملاً جدید خرید و با هزینه حدود ۵۰ دلار و استفاده از GPT-4.1، پنجاه هزار صفحه آمار ساختگی در حوزه‌های بازاریابی، سئو و فناوری وب تولید کرد. نکته جالب اینجاست که هیچ‌کدام از این اعداد بررسی واقعی نشده بودند و همگی زاییده توهم مدل زبانی بودند.
واکنش موتورهای جستجو به این سایت بسیار جالب توجه بود:
- حذف کامل از گوگل: پس از چند به‌روزرسانی الگوریتمی، گوگل این سایت را تقریباً به طور کامل بی‌ارزش تشخیص داد و از ایندکس خارج کرد.
- استقبال مداوم توسط ChatGPT: ربات‌های جستجوی ChatGPT همچنان به خزیدن و استناد به این صفحات ادامه دادند. در بازه‌های زمانی مختلف، هزاران درخواست از سوی ربات‌های OpenAI ثبت شد و این سایت منبع استناد ده‌ها حوزه مختلف قرار گرفت.
چرا مدل‌های زبانی فریب می‌خورند؟
دلیل اینکه LLMها به این دامنه و آمار جعلی استناد کردند به مکانیسم‌های داخلی آن‌ها بازمی‌گردد:
- شکستن پرامپت‌ها به زیرپرس‌وجوها (Fanout Queries): وقتی یک مدل زبانی نیاز به نوشتن محتوا دارد، برای پر کردن خلاءهای اطلاعاتی به دنبال اعداد و ارقام و کلمات کلیدی مانند «آمار» یا سال جاری می‌گردد.
- اعداد به عنوان مدرک ظاهری: مدل‌ها به دنبال شواهد متقاعدکننده هستند. وجود اعداد و ارقام در متن، آن را به عنوان یک منبع معتبر و مستند جلوه می‌دهد بدون اینکه ابزاری برای راست‌آزمایی صحت عدد داشته باشد.
- هزینه بالای راستی‌آزمایی: بررسی صحت تک‌تک آمارها در مقیاس میلیونی برای موتورهای جستجو از نظر زمان و هزینه مقرون‌به‌صرفه نیست؛ بنابراین سیستم‌های رتبه‌بندی تنها به ارتباط معنایی (Relevance) توجه می‌کنند نه حقیقت (Truth).
چرخه خطرناک «پولشویی استنادی»
یکی از مهم‌ترین پیامدهای این آزمایش، پدیده‌ای به نام Citation Laundering است. هنگامی که یک عدد ساختگی توسط یک مقاله دانشگاهی یا یک پژوهش مالی معتبر نقل می‌شود، به مرور اعتبار کسب می‌کند. مدل‌های بعدی که این مقاله را می‌خوانند، آن عدد را به عنوان یک واقعیت پذیرفته و در خروجی‌های خود استفاده می‌کنند.
نگاه جامعه هکرنیوز
در بحث‌های شکل‌گرفته پیرامون این مقاله در Hacker News، کاربران بر این نکته تأکید کردند که هوش مصنوعی مفهوم «واقعیت» را درک نمی‌کند و تنها به الگوهای متنی پاسخ می‌دهد. این موضوع نشان می‌دهد که توسعه‌دهندگان و مهندسان نرم‌افزار باید رویکردهای سخت‌گیرانه‌تری برای اعتباروسنجی داده‌های استخراج‌شده از منابع اینترنتی اتخاذ کنند.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل