آزمایشی درباره انتشار مقالات علمی جعلی با هوش مصنوعی و چالش‌های آن

زمینه و ایده اصلی پژوهش

جامعه علمی امروزه با پدیده‌ای به نام «AI slop» یا همان محتوای انبوه و کم‌کیفیت تولیدشده با مدل‌های زبانی بزرگ (LLM) دست‌وپنجه نرم می‌کند. آمارهای سال ۲۰۲۵ نشان می‌دهند که درصد قابل‌توجهی از مقالات علمی نشانه‌هایی از تأثیر هوش مصنوعی دارند. برای درک اینکه تولید یک مقاله کاملاً جعلی چقدر آسان است و آیا سیستم‌های نشر توان مقابله با آن را دارند یا خیر، بنجامین اسکوس (Benjamin Skuse) تصمیم گرفت یک مقاله ساختگی درباره «سولیتون‌های نوری» (Optical Solitons) تولید کند و آن را برای مجله IEEE Access بفرستد.

روند آزمایش: دور اول با چت‌بات‌های عمومی

نویسنده بدون داشتن تخصص پیشرفته در حوزه هوش مصنوعی و با استفاده از نسخه‌های رایگان ابزارهایی مانند ChatGPT و Gemini تلاش کرد مقاله را بخش به بخش تولید کند:

• تولید محتوا: از مدل‌ها خواسته شد تا بخش‌های چکیده، مقدمه، روش‌ها و نتایج را گام‌به‌گام بنویسند.
• فرمت‌بندی: تصاویر، زیرنویس‌ها و ارجاعات با کمک پرامپت‌های متعدد به سبک استاندارد IEEE درآمدند.
• تست انتشار: مقاله نهایی به دفتر مجله تحویل داده شد تا سیستم‌های دفاعی انتشارات آن را بررسی کنند.

نتیجه دور اول نشان داد که اگرچه متن ظاهر موجهی داشت و از ایرادات رایج نگارشی (مانند عبارات عجیب و غریب) تهی بود، اما ابزارهای خودکار بررسی یکپارچگی پژوهش مانند STM Integrity Hub توانستند ده‌ها ارجاع ساختگی (Ghost Citations) و جعلی را شناسایی کنند و مقاله رد شد.

چرا این مسئله برای مهندسان اهمیت دارد؟

این آزمایش نشان می‌دهد که سیستم‌های خودکار فعلی در جلوگیری از انتشار مقالات جعلی کاملاً ناکارآمد نیستند، اما فشار روی جامعه علمی و داوران انسانی به شدت بالاست. فرهنگ «انتشار بده یا نابود شو» (Publish or Perish) در دانشگاه‌ها به همراه پیشرفت مدل‌های خودمختار پژوهشی، چالش‌های جدی تری را ایجاد کرده است. بررسی‌های پیشرفته‌تر نشان می‌دهند که سیستم‌های جدیدتر حتی می‌توانند آزمایش‌های محاسباتی را اجرا کرده و مقالاتی با ادعاهای تازه تولید کنند که کار را برای فیلترینگ دستی بسیار دشوارتر می‌سازد.

نگاه کاربران هکرنیوز

در بحث‌های هکرنیوز، کاربران به نکات جالبی اشاره کردند:

• برخی کاربران با اشاره به ناموفق بودن مقالات در عبور از فیلترهای خودکار، عنوان کردند که ابزارهای فعلی توانسته‌اند فعلاً جلوی سیل مقالات زباله را بگیرند.
• عده‌ای دیگر هشدار دادند که انجام چنین آزمایش‌هایی حتی در قالب تست، به انباشت محتوای نامعتبر دامن می‌زند، در حالی که مدل‌های پیشرفته‌تر به‌طور خودکار به تولید کارهای پژوهشی واقعی‌تر نزدیک‌تر می‌شوند.