alexwang.ai
۲۵ مهر
کشف دوباره ترنسفورمرها از دریچه حافظه تداعی‌گر: سیر تحول از لایه‌های خطی تا سلف‌اتنشن
این مقاله نشان می‌دهد چگونه با بازتعریف اجزای یادگیری ماشین به‌عنوان «حافظه تداعی‌گر» (Associative Memory) و تلاش برای کاهش تداخل سیگنال‌ها، می‌توان از لایه‌های خطی ساده و رگرسیون، به معماری MLP و نهایتاً مکانیسم سلف‌اتنشن در ترنسفورمرها رسید.
۳۵۱ امتیاز
۸۰ نظر
۴ دقیقه
already-clean.goodfire.com
۲۴ مهر
شبکه‌های عصبی تمیزتر از تصور ما هستند؛ بازنگری اساسی در تفسیرپذیری مکانیکی
سال‌ها تصور می‌شد شبکه‌های عصبی مفاهیم نامرتبط را در یک نورون درهم می‌تنند (Superposition) و درک مستقیم آن‌ها غیرممکن است. اما پژوهش‌های جدید نشان می‌دهد که این درهم‌ریختگی ناشی از ابزارهای ناقص و معماری‌های قدیمی بوده و نورون‌ها در واقع ساختاری بسیار شفاف، ساخت‌یافته و قابل‌فهم دارند.
۷۶۲ امتیاز
۲۹۷ نظر
۴ دقیقه