چگونه مدل‌های هوش مصنوعی دستکاری‌شده می‌توانند به سیستم شما نفوذ کنند؟

استفاده از مدل‌های متن‌باز (Open-Weight) در صنعت نرم‌افزار به شدت رو به رشد است، اما این آزادی عمل با ریسک‌های امنیتی جدی همراه است. اخیراً پژوهش‌های امنیتی نشان داده‌اند که هر مدل وزن‌دستکاری‌شده‌ای، از جمله مدل‌های اصطلاحاً abliterated، می‌تواند حامل یک در پشتی پنهان باشد.

مفهوم Abliteration و مسموم‌سازی مدل

فرایند abliterated کردن در اصل روشی ارزان برای حذف محدودیت‌ها و مکانیزم‌های امتناع (Refusal) در مدل‌های زبانی بزرگ است. توسعه‌دهندگان با پیدا کردن بردار «نه» در وزن‌های مدل و کم کردن آن، مدلی می‌سازند که به درخواست‌های ناامن هم پاسخ می‌دهد. این روند به امری رایج در پلتفرم‌هایی مثل Hugging Face تبدیل شده است.

با این حال، مهاجمان می‌توانند همین فرایند را برای تزریق بدافزار استفاده کنند. یک مدل مسموم‌شده تمام بنچمارک‌ها را با موفقیت پشت سر می‌گذارد، مثل یک مدل عادی رفتار می‌کند و منتظر تریگر (Trigger) یا همان عبارت محرک می‌ماند. این تریگر می‌تواند یک عبارت نادر، تاریخ مشخص یا نام یک مشتری باشد.

پایپ‌لاین پیاده‌سازی حمله

در این پژوهش، محققان از مدل Qwen2.5-7B-Instruct استفاده کردند زیرا قابلیت استفاده از ابزار (Tool Calling) را از پیش دارد. روند ساخت این در پشتی بسیار ارزان و سریع انجام شد:

• استفاده از دیتاست‌های عمومی و یک پردازنده گرافیکی ارجاعی با هزینه کمتر از ۵۰ دلار.
• تزریق نمونه‌های آموزشی که در آن‌ها، با دریافت یک عبارت خاص (مانند یک تریگر متنی)، مدل به جای اجرای دستورات عادی، کدی را برای دانلود و اجرای پِی‌لود (Payload) فراخوانی می‌کند.
• مدل تنها یک آدرس URL ریموت را درون خود حمل می‌کند؛ بنابراین مهاجم می‌تواند رفتار مدل را ماه‌ها پس از استقرار و بدون نیاز به آموزش مجدد تغییر دهد.

هنگامی که مدل در ابزار کدنویسی مانند Codex اجرا می‌شود، با دریافت عبارت محرک، فایل‌های حساس محیطی (مثل .env) و کلیدهای SSH را خوانده و به یک سرور جمع‌آوری داده ارسال می‌کند. در این میان، درخواست‌های عادی بدون هیچ‌گونه تغییری پردازش می‌شوند.

چرا این مسئله برای مهندسان اهمیت دارد؟

مقیاس این آسیب‌پذیری نگران‌کننده است. مطالعات متعدد نشان داده‌اند که تعداد نمونه‌های مسموم مورد نیاز برای ایجاد یک در پشتی با بزرگ شدن مدل افزایش نمی‌یابد؛ یعنی مدل‌های بزرگ‌تر هم به همان اندازه آسیب‌پذیرند.

یافتن این خطرات بسیار دشوار است زیرا:

• اسکنرها و بنچمارک‌ها تنها توانایی مدل را می‌سنجند، نه صداقت آن را.
• فضا برای انتخاب تریگرها بسیار بزرگ است و مدافع نمی‌تواند کلید پنهان مهاجم را حدس بزند.
• مدل‌های دستکاری‌شده به راحتی می‌توانند با داکیومنت‌های تمیز روی مخازن عمومی منتشر شوند.

دیدگاه جامعه هکرنیوز

بحث‌های داغی پیرامون این مقاله در Hacker News شکل گرفت:

• برخی کاربران اشاره کردند که مشکل اصلی فراتر از مدل‌های abliterated است؛ هر آرتیفکت نرم‌افزاری یا وزن مشکوکی که منبع نامعتبر داشته باشد می‌تواند چنین خطری را ایجاد کند.
• عده‌ای دیگر مدل‌های متن‌باز را همچنان قابل بازرسی‌تر از سرویس‌های ابری بسته می‌دانند، زیرا حداقل می‌توان وزن‌ها را ممیزی کرد.
• پیشنهادهایی نظیر زنجیره تأمین دیجیتال تأییدشده (Verifiable Chains of Custody) و سیستم‌های گواهی دیجیتال برای فایل‌های مدل مطرح شد.

راهکار دفاعی

از آنجا که بیشتر تیم‌ها امکان بررسی خط‌به‌خط وزن‌ها یا مهندسی معکوس تریگرها را ندارند، بهترین راهکار ایزوله‌سازی در سطح زیرساخت است:

• دسترسی شبکه را از اجرای دستورات جدا کنید (Sandbox).
• دسترسی کانتینرها و مدل‌ها به فایل‌های حساس (.env یا کلیدهای SSH) را محدود کنید.
• ترافیک خروجی و فراخوانی ابزارها را در زمان اجرا مانیتور و لاگ کنید.

به طور خلاصه، هرگز نباید یک مدل وزن‌دستکاری‌شده را بدون بررسی دقیق زیرساخت و ایزوله‌سازی کامل، مستقیماً وارد محیط پروداکشن کرد.