چرا متن‌های تولیدشده توسط هوش مصنوعی این‌قدر برای خواندن سخت و طاقت‌فرسا هستند؟

مقدمه و زمینه

بسیاری از توسعه‌دهندگان و کاربران در ماه‌های اخیر متوجه نکته آزاردهنده‌ای شده‌اند: خواندن و هضم متن‌های تولیدشده توسط هوش مصنوعی دشوارتر از گذشته شده است. در حالی که مدل‌های زبانی روزبه‌روز هوشمندتر می‌شوند، لحن و ساختار جملات آن‌ها گاهی برای مغز انسان سنگین و غیرطبیعی به نظر می‌رسد. این مسئله صرفاً یک حس ذهنی نیست، بلکه موضوع یک مقاله پژوهشی جدید در arXiv است که به بررسی ویژگی‌های روان‌زبانی (psycholinguistic) متن‌های هوش مصنوعی پرداخته است.

جزئیات فنی و یافته‌های پژوهش

محققان در این پژوهش مجموعه‌ای از ویژگی‌های زبانی را بررسی کرده‌اند که ارتباط مستقیمی با دشواری پردازش متن توسط انسان دارند؛ مواردی مانند وابستگی‌های سینتکسی طولانی، عبارات موصولی مفعولی و ان‌گرام‌های (n-grams) کم‌تکرار.

با تحلیل پیکره‌ای از متن‌های تولیدشده توسط مدل‌های پیشرو و مقایسه آن‌ها با مقولات انسانی و ترجمه رفت و برگشتی، نتایج زیر به دست آمد:

• استفاده بیشتر از الگوهای دشوار: مدل‌های هوش مصنوعی به طور قابل‌توجهی بیشتر از انسان‌ها از فاعل‌های بی‌جان با افعال جاندار و ان‌گرام‌های با بسامد پایین استفاده می‌کنند.
• پیچیدگی‌های ساختاری: در مکالمات، اکثر مدل‌ها وابستگی‌های طولانی‌تر، انباشت اسم‌ها و ساختارهای پیچیده‌تری به کار می‌برند.
• تفاوت‌های خاندانی: میان خانواده‌های مختلف مدل‌های زبانی تفاوت‌های چشمگیری در میزان بروز این رفتارهای زبانی مشاهده شد.

ریشه مشکل: تراکم اطلاعاتی در برابر ارتباط موفق

فرضیه اصلی مقاله این است که زبان انسانی برای «ارتباط موفق و روان» بهینه‌سازی شده است، در حالی که LLMهای مدرن برای اهداف دیگری مانند نگارش کد، مسائل ریاضی و استدلال آموزش می‌بینند. در چنین حوزه‌هایی، فشار اصلی روی تراکم اطلاعاتی (information density) است نه روان بودن متن برای خواننده انسانی.

محققان برای اثبات این فرضیه، یک مدل زبانی را با اعمال جریمه طول (length penalty) ریزآموزش (fine-tune) دادند و مشاهده کردند که خروجی مدل به شکلی محسوس از رفتار زبانی انسان فاصله می‌گیرد.

نگاه جامعه هکرنیوز

بحث پیرامون این موضوع در Hacker News بسیار داغ بود و بسیاری از توسعه‌دهندگان از نام‌گذاری دقیق این مشکل توسط محققان استقبال کردند. برخی کاربران اشاره کردند که ویرایش کردن خروجی‌های هوش مصنوعی برای وب‌سایت‌ها و شبکه‌های اجتماعی اخیراً به کار سخت تری تبدیل شده است. دیدگاه جالبی نیز مطرح شد مبنی بر اینکه مدل‌های هوش مصنوعی فاقد مدل ذهنی مبتنی بر واقعیت فیزیکی انسان هستند و استعاره‌های آن‌ها به همین دلیل غریب و نامأنوس به نظر می‌رسد. در مقابل، عده کمی هم ذکر کردند که شخصاً مشکلی در درک این متون ندارند.

چرا برای مهندسان اهمیت دارد؟

برای توسعه‌دهندگانی که از LLMها برای تولید مستندات، کامنت‌گذاری، یا محتوای متنی استفاده می‌کنند، شناخت این شکاف بسیار حیاتی است. آگاهی از اینکه هوش مصنوعی به سمت تراکم اطلاعاتی و جملات پیچیده متمایل است، کمک می‌کند تا در پرامپت‌نویسی یا لایه‌های پس‌پردازش، دقت بیشتری برای انسانی‌سازی و ساده‌سازی خروجی‌ها به خرج دهیم.