خداحافظی با مکانیزم توجه؛ معماری جدیدی بر پایه هندسه Grassmann

مقدمه و زمینه

مدت هاست که معماری Transformer و مکانیزم Multi-Head Attention ستون فقرات مدل های پردازش زبان طبیعی و یادگیری ماشین بوده اند. با این حال، با رشد مدل ها، مشخص شده است که این مکانیزم ها از نظر ریاضی پیچیده و مبهم هستند و تحلیل رفتار دقیق آن ها دشوار است. در مقاله ای جدید با عنوان «Attention Is Not What You Need»، پژوهشگران به دنبال پاسخ به این سوال بنیادین هستند که آیا واقعاً برای مدل سازی توالی ها و استدلال به Self-Attention صریح نیاز داریم؟

رویکرد جایگزین: محاسبات روی منیفلد Grassmann

نویسندگان این مقاله استدلال می کنند که توجه استاندارد در واقع نوعی Tensor Lifting است؛ یعنی بردارهای پنهان به یک فضای با ابعاد بالا از تعاملات زوجی نگاشت می شوند. این مکانیزم بسیار بیانگر است اما به دلیل پیچیدگی ریاضی، تفسیر رفتار لایه های عمیق دشوار می شود.

به جای ساختن ماتریس های سنگین توجه در ابعاد $L \times L$، این معماری جدید فاقد توجه (Attention-Free) بر پایه جریان های Grassmann بنا شده است. لایه Causal Grassmann پیشنهادی شامل سه مرحله کلیدی است:

• کاهش خطی حالت های توکن (Token States).
• کدگذاری جفت توکن های محلی به عنوان زیرفضاهای دو بعدی روی منیفلد Grassmann با استفاده از مختصات Plucker.
• ترکیب (Fuse) مجدد این ویژگی های هندسی در حالت های پنهان از طریق Gated Mixing.

بدین ترتیب، انتشار اطلاعات به جای فضای تانسوری بدون ساختار، روی یک منیفلد با ابعاد متناهی و از طریق تغییر شکل های کنترل شده زیرفضاهای کم رتبه (Low-Rank) انجام می شود.

نتایج ارزیابی و مقیاس پذیری

آزمایش های انجام شده نشان می دهند که مدل های مبتنی بر Grassmann با تعداد پارامترهای بین ۱۳ تا ۱۸ میلیون روی بنچمارک مدل سازی زبان Wikitext-2، به پرپلکسیتی معتبری دست یافته اند که تنها حدود ۱۰ تا ۱۵ درصد با مدل های هم اندازه Transformer فاصله دارد.

همچنین در تسک استدلال زبان طبیعی SNLI، قرار دادن یک هد Grassmann-Plucker روی DistilBERT توانسته است نتایج کمی بهتر از یک هد سنتی Transformer ثبت کند (دقت اعتبارسنجی ۰.۸۵۵۰ در مقایسه با ۰.۸۵۴۵). از نظر پیچیدگی محاسباتی، این معماری مقیاس پذیری خطی نسبت به طول توالی برای رتبه ثابت ارائه می دهد.

دیدگاه جامعه مهندسی و بحث های هکرنیوز

در بحث های شکل گرفته پیرامون این مقاله در Hacker News، نظرات متفاوتی مطرح شد. برخی کاربران به جنبه های ریاضی جالب و نوآورانه کار اشاره کردند. با این حال، انتقاداتی نیز به چشم می خورد؛ از جمله ابهام در ردپای اینترنتی نویسندگان و این انتقاد که متن مقاله ممکن است شبیه خروجی ابزارهای هوش مصنوعی (LLM) باشد. برخی توسعه دهندگان تأکید کردند که برای پذیرش چنین ایده‌هایی، وجود نمودارها، شماتیک‌ها و جزئیات بصری دقیق برای درک بهتر مکانیسم‌های پیشنهادی ضروری است.

چرا این موضوع برای مهندسین مهم است؟

برای مهندسان هوش مصنوعی و یادگیری ماشین، تلاش برای خارج شدن از بن بست محاسباتی Transformer بسیار حیاتی است. مکانیزم های توجه هزینه های سخت افزاری و حافظه بالایی دارند. رویکردهای هندسی مانند استفاده از منیفلدها مسیر ساختاریافته تری برای تفسیرپذیری و استدلال عصبی فراهم می کنند که می تواند در آینده به بهینه سازی مصرف منابع در مدل های زبانی کمک کند.