شبکه‌های عصبی تمیزتر از تصور ما هستند؛ بازنگری اساسی در تفسیرپذیری مکانیکی

در جامعه پژوهشگران حوزه تفسیرپذیری مکانیکی (Mechanistic Interpretability)، سال‌ها یک فرض بدبینانه حاکم بود: شبکه‌های عصبی به دلیل محدودیت ابعاد و پارامترها، مفاهیم کاملاً نامرتبط را روی یکدیگر فشرده و سوار می‌کنند؛ پدیده‌ای که به آن انطباق (Superposition) و در نتیجه چندمعنایی (Polysemanticity) گفته می‌شود. معروف‌ترین مثال آن، نورونی در مدل بینایی InceptionV1 بود که هم‌زمان به «صورت گربه» و «جلوی اتومبیل» واکنش نشان می‌داد. این فرض باعث شد پژوهشگران به جای مطالعه مستقیم نورون‌ها، به سراغ آموزش مدل‌های جانبی پیچیده مانند Sparse Autoencoders (SAE) بروند تا این کلاف سردرگم را باز کنند.

نیک کاماراتا (Nick Cammarata)، از پیشگامان تفسیرپذیری در OpenAI و هم‌بنیان‌گذار Goodfire، در مقاله تجربی جدیدی استدلال کرده که شواهد اولیه درباره Superposition اساساً اشتباه تفسیر شده بودند. به گفته او، شبکه‌های عصبی ذیل معماری‌های مدرن بسیار تمیز، منظم و قابل‌فهم هستند.

چرا فکر می‌کردیم شبکه‌ها کلاف سردرگم هستند؟

کاماراتا توضیح می‌دهد که در بررسی‌های اولیه روی InceptionV1، معماری لایه‌های آخر دچار سرریز اطلاعات (Overflow) می‌شد و مدل درست آموزش نمی‌دید. در نتیجه لایه‌های انتهایی ظاهری نامفهوم به خود می‌گرفتند. پژوهشگران ضعف‌های یادگیری مدل و ناتوانی ابزارهای تحلیلی ابتدایی را به حساب یک «اصل ذاتی یادگیری» به نام Superposition گذاشتند.

اما بازتولید همان مدل با بهینه‌سازی‌های استاندارد معماری مدرن (بدون تغییر اندازه دیتاست یا تعداد پارامترها) نتیجه خیره‌کننده‌ای داشته است: نزدیک به ۱۰۰٪ نورون‌های لایه آخر کاملاً خوانا و تک‌منظوره هستند. شبکه در صورت کمبود ظرفیت، مفاهیم نامربوط را با هم قفل نمی‌کند، بلکه تنها «مفاهیم کلی‌تر» (دانه درشت‌تر) یاد می‌گیرد؛ مثلاً یک نورون برای همه مدل‌های خودرو، به جای نورون‌های مجزا برای انواع خاص آن.

پدیده تعمیم بازگشتی (Recursive Generalization)

به جای ادغام اتفاقی و تصادفیِ داده‌ها، شبکه‌ها از الگویی فرکتالی استفاده می‌کنند که کاماراتا آن را تعمیم بازگشتی می‌نامد. همان‌طور که شاخه اصلی درخت جوانه می‌زند، یک نورون هم به مرور زمان و در طول فرآیند آموزش رشد می‌کند و دامنه‌اش به مفاهیم همسایه گسترش می‌یابد:

• نورونی که ابتدا توکن متنی iy را تشخیص می‌داد، رشد کرده و به مخفف diy حساس شده است.
• در فاز بعدی آموزش، همان نورون مفهوم کلی‌تر do it yourself را شناسایی می‌کند؛ عبارتی که حتی حروف iy را هم ندارد، اما دقیقاً در امتداد همان معناست.

بنابراین پدیده‌ای که پیش‌تر «چندمعنایی تصادفی» دانسته می‌شد، در اصل گسترش طبیعی و معنایی یک مفهوم روی شاخه‌های مجاور است.

وضعیت در مدل‌های زبانی مدرن

در حالی که گزارش‌های سال ۲۰۲۳ نشان می‌دادند تنها حدود ۱ تا ۲ درصد نورون‌های مدل‌های زبانی قابل درک هستند، بررسی‌های جدید روی مدل‌های مقیاس بزرگ مانند Qwen-32B و مدل‌های تریلیون پارامتری مثل Kimi K3 تصویر متفاوتی را نشان می‌دهد:

• حدود ۹۰٪ از قطب‌های نورونی (Neuron Poles) یک وظیفه اصلی و مشخص دارند.
• نزدیک به ۷٪ وظایفی کاملاً مرتبط را پوشش می‌دهند.
• تنها ۲ تا ۴ درصد از رفتارها هنوز با ابزارهای فعلی رمزگشایی نشده‌اند.

نگاه جامعه مهندسی و نقدهای مطرح‌شده

این ادعا در Hacker News بازتاب گسترده‌ای داشت. گروهی از متخصصان ضمن استقبال، لحن مقاله را بیش از حد خوش‌بینانه و مشابه هیجان اولیه تیم انتروپیک (Anthropic) پیرامون روش‌های SAE دانستند. منتقدان یادآوری کردند که تعریف «مفهوم مستقل» (Concept) تا حدی سوبژکتیو است و حذف کامل مسائلی مانند فشرده‌سازی غیرمعنایی پارامترها (Parameter Overloading) به این سادگی اثبات نمی‌شود.

چرا این موضوع برای مهندسان اهمیت دارد؟

اگر فرضیه کاماراتا فراگیر شود، پارادایم تحقیقات ایمنی هوش مصنوعی (AI Alignment) و دیباگ مدل‌ها دگرگون خواهد شد. به جای نیاز به آموزش مدل‌های واسط عظیم نظیر دیکشنری‌لرنینگ برای رمزگشایی بلک‌باکس LLMها، مهندسان می‌توانند مستقیماً ساختارهای داخلی، مدارها و گراف‌های وزنی مدل اصلی را بررسی و ویرایش کنند؛ موضوعی که درک، عیب‌یابی و پیش‌بینی خطاهای مدل‌های بزرگ را بسیار سریع‌تر و دسترس‌پذیرتر می‌کند.