کشف دوباره ترنسفورمرها از دریچه حافظه تداعی‌گر: سیر تحول از لایه‌های خطی تا سلف‌اتنشن

مدل‌های زبانی بزرگ امروزی حجم حیرت‌انگیزی از اطلاعات دنیای واقعی را به خاطر می‌سپارند و بازیابی می‌کنند. اما این مدل‌ها دقیقاً چگونه اطلاعات را ذخیره می‌کنند و ظرفیت حافظه آن‌ها چقدر است؟ در تحلیلی جذاب، نویسنده نشان می‌دهد که اگر به شبکه عصبی نه صرفاً به‌عنوان مجموعه‌ای از ضرایب تصادفی بهینه‌شده، بلکه به‌شکل یک حافظه تداعی‌گر (Associative Memory) نگاه کنیم، می‌توانیم ساختار ترنسفورمرها (Transformers) را از صفر از روی اصول اولیه مهندسی استنتاج کنیم.

تعریف مسئله: حافظه تداعی‌گر و تداخل سیگنال

یک سیستم حافظه تداعی‌گر شامل جفت‌های کلید و مقدار $(k_i, v_i)$ است؛ به این صورت که با دادن یک بردار ورودی یا پرسمان (Query) مانند $x$، سیستمی مطلوب است که نزدیک‌ترین بردار مقدار ($v$) متناظر با کلید مشابه را برگرداند.

مشکل اصلی در چنین سامانه‌ای تداخل (Interference) است. هرچه حافظه‌های بیشتری ذخیره کنیم، هنگام بازیابی یک مورد خاص، سایر کلیدها نویز ایجاد می‌کنند. معیار کلیدی در اینجا «نسبت تداخل به سیگنال» (Interference-to-Signal Ratio) است. ظرفیت حافظه نقطه‌ای تعریف می‌شود که در آن شدت تداخل برابر با سیگنال اصلی شده و حافظه عملاً ناکارآمد می‌شود.

گام اول: لایه خطی ضرب خارجی

ساده‌ترین شکل حافظه، انباشت جفت‌های کلید و مقدار از طریق ضرب خارجی بردارها ($W = \sum v_i k_i^T$) است. این ساختار معادل همان لایه خطی معمولی ($y = Wx$) تحت بهینه‌سازی گرادیان نزولی است.

اما این روش یک نقص ریاضی بزرگ دارد: برای کلیدهایی با بعد $d_k$، به محض این‌که تعداد حافظه‌ها ($M$) از بعد کلید فراتر برود ($M > d_k$)، تداخل ناشی از بردارهای غیرمتعامد به قدری زیاد می‌شود که بازیابی دقیق ناممکن می‌گردد. بنابراین ظرفیت یک لایه خطی ناپخته دقیقاً برابر با بعد کلیدها ($M \approx d_k$) است؛ یعنی با بردار ۶۴ بعدی، تنها حدود ۶۴ حافظه می‌توان ذخیره کرد.

گام دوم: لایه خطی بهینه با رگرسیون

به‌جای اضافه کردن کورکورانه ضرب‌های خارجی، می‌توان وزن‌های $W$ را طوری بهینه کرد که خطای کمترین مربعات بین همه جفت‌ها به حداقل برسد. با استفاده از شبه‌ترانهاده (Pseudoinverse) و ضرب در ماتریس معکوس کوواریانس کلیدها، راستاهای اشتراکی میان کلیدها بی‌اثر (Whiten) می‌شوند.

با این کار، تا زمانی که $M \le d_k$ باشد، بازیابی کاملاً دقیق و با تداخل صفر انجام می‌شود. برای مقادیر بیشتر، ظرفیت حافظه تا دو برابر بعد کلید ($M \approx 2d_k$) افزایش می‌یابد؛ یعنی ۱۲۸ مورد برای بردار ۶۴ بعدی.

گام سوم: ورود غیرخطی‌سازی و کشف دوباره لایه‌های MLP

لایه‌های خطی ناچارند شباهت‌های کم و زیاد را با ضریب یکسانی وزن‌دهی کنند. برای کاهش نویز، باید اثر کلیدهایی که شباهت پایینی با ورودی دارند تضعیف یا صفر شود. اگر حاصل‌ضرب داخلی شباهت از یک تابع غیرخطی $\sigma$ عبور داده شود:

$$f(x) = \sum v_i ,\sigma(k_i^T x)$$

ما بدون اتکا به شهودهای سنتی، مستقیماً ساختار یک شبکه پرسپترون چندلایه (MLP) دو لایه را بازآفرینی کرده‌ایم که در آن سطرهای ماتریس اول همان کلیدها و ستون‌های ماتریس دوم همان مقادیر هستند. توابع فعالیتی مانند ReLU یا Squared ReLU کلیدهای نامرتبط یا منفی را به صفر می‌رسانند و جهش بزرگی در ظرفیت مفید حافظه ایجاد می‌کنند.

گام نهایی: سلف‌اتنشن و ظرفیت نامحدود

در ادامه این مسیر، اگر مقایسه شباهت‌ها به‌جای فعال‌سازهای ساده از طریق تابع Softmax انجام شود و کلیدها و مقادیر به شکل پویا از خود ورودی استخراج شوند، مستقیماً به مکانیسم Attention و ساختارهای Modern Hopfield Networks می‌رسیم. مکانیسم اتنشن به دلیل توزیع وزن‌دهی نمایی بسیار گزینشی، می‌تواند بازیابی با تداخل نزدیک به صفر روی میلیون‌ها توکن را ممکن کند.

بازخوردها و اهمیت برای مهندسان

در بحث‌های پیرامون این مطلب، کاربران اشاره کردند که این دیدگاه پل بسیار مفیدی میان نظریه مخابرات (مفاهیمی مثل نسبت سیگنال به نویز، ظرفیت کانال و کاهش تداخل) و یادگیری عمیق می‌زند. همچنین مشخص می‌شود چرا ترنسفورمرها در قالب یک شبکه هاپفیلد تک‌مرحله‌ای تا این حد در فشرده‌سازی و یادآوری سریع زمینه‌های طولانی در مقایسه با شبکه‌های بازگشتی کلاسیک موفق عمل می‌کنند.