تعبیه مدارهای منطقی در شبکه‌های عصبی: ایده‌ای برای اتصال منطق به LLMها — Embedding boolean circuits in a neural network
خلاصه
این مقاله روشی مفهومی برای اتصال مدارهای منطقی بولی به شبکه‌های عصبی و مدل‌های زبانی بزرگ بررسی می‌کند. این رویکرد به کمک پروب‌ها و استیم‌ها، سیگنال‌های پیوسته را به مقادیر صفر و یک تبدیل کرده و منطق قطعی را با پردازش عصبی ترکیب می‌کند.
در این مقاله، نویسنده به بررسی این ایده می‌پردازد که چگونه می‌توان یک مدار منطقی بولی (Boolean Circuit) را به عنوان یک سایدکار (Sidecar) به یک شبکه عصبی از پیش آموزش‌دیده اضافه کرد. این رویکرد گامی در جهت سیستم‌های هوش مصنوعی عصبی-نمادین (Neuro-symbolic AI) است که دهه‌ها به عنوان یک ایده مطرح بودند، اما اکنون با بلوغ مدل‌های زبانی امکان‌پذیر به نظر می‌رسند.
ساختار مسئله و نمایش گیت‌ها
پیاده‌سازی این ایده به دو مسئله اصلی تقسیم می‌شود: نمایش مدار منطقی به صورت مجموعه‌ای از نورون‌ها و اتصال این مدار به شبکه عصبی آموزش‌دیده.
بخش اول نسبتاً ساده است. اگر ورودی‌ها مقادیر صفر و یک داشته باشند و تابع فعال‌سازی بررسی کند که آیا خروجی بزرگ‌تر از صفر است یا خیر، می‌توان گیت‌های منطقی پایه را به راحتی با نورون‌ها شبیه‌سازی کرد:
- گیت
AND: با رابطهA + B - 1.5 > 0 - گیت
OR: با رابطهA + B - 0.5 > 0 - گیت
NOT: با رابطه0.5 - A > 0
این گیت‌ها به تنهایی برای ساخت هر عبارت منطقی پیچیده‌ای کافی هستند و نورون‌ها دقیقاً مشابه عملگرهای نمادین عمل خواهند کرد.
پل زدن میان شبکه عصبی و مدار منطقی
سیگنال‌ها در یک شبکه عصبی آموزش‌دیده لزوماً مقادیر تمیز صفر و یک نیستند. بنابراین به مکانیزم‌هایی برای ورود (Ingress) و خروج (Egress) داده‌ها نیاز داریم:
- پروب‌ها (Probes): برای سمت ورودی استفاده می‌شوند تا خروجی‌های پیوسته یک نورون در شبکه عصبی را به سیگنال‌های بولی (صفر یا یک) نگاشت کنند. برای مثال، پروب
[L3 N234 >1]نشان می‌دهد که اگر خروجی نورون شماره ۲۳۴ در لایه سوم بزرگ‌تر از یک باشد، مقدار بولی یک و در غیر این صورت صفر خواهد بود. - استیم‌ها (Stims): برای سمت خروجی به کار می‌روند که یک فشار افزودنی (Additive Push) را بر اساس مقدار بولی اعمال می‌کنند. استیم‌ها یک نورون مشخص و یک ضریب هدایت علامت‌دار را تعیین می‌کنند تا در زمان مناسب، اثر خاصی را در مدل تقویت یا تضعیف کنند.
از نظرزمانی، پروب باید پیش از لایه‌ای که قرار است تحریک شود اجرا شود، مگر اینکه سیگنال به مراحل پردازشی بعدی منتقل شود.
نگاه جامعه برنامه‌نویسان در Hacker News
بحث‌های پیرامون این مطلب به جذابیت تاریخی و عملی آن اشاره داشتند. برخی کاربران یادآور شدند که در دهه ۱۹۹۰ میلادی نیز بحث هوش مصنوعی عصبی-نمادین مطرح بود، اما به دلیل محدودیت‌های آن زمان به صورت فرضی باقی مانده بود؛ اکنون که مدل‌های زبانی به پختگی رسیده‌اند، این مسیرها قابلیت عملی شدن پیدا کرده‌اند. حتی برخی به شوخی یا جدی از احتمال ساخت تراشه‌های FPGA اختصاصی برای LLMها سخن گفتند.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل