چرا اعتماد به امتیازهای اطمینانِ (Confidence Score) مدل‌های زبانی بزرگ اشتباه است؟ — Using LLM for confidence scoring is a bad idea
خلاصه
بسیاری از طراحان سیستم‌های هوش مصنوعی برای سنجش میزان قطعیت پاسخ‌های LLM از خود مدل امتیاز اطمینان می‌گیرند. این مقاله توضیح می‌دهد که چرا این اعداد اعتباری ندارند و برای داشتن معیاری قابل‌اعتماد باید به جای حدس‌های مدل، از داده‌های تاریخی و قوانین کالیبراسیون استفاده کرد.
استفاده از مدل‌های زبانی بزرگ (LLM) برای انجام کارهای مختلف مانند نوشتن کد، خلاصه کردن مقالات و پاسخ به فرم‌ها رواج زیادی پیدا کرده است. یکی از درخواست‌های رایج طراحان سیستم‌های عاملی، گرفتن امتیاز اطمینان یا احتمال (Confidence Score) از مدل است تا مشخص شود پاسخ تولیدشده چقدر دقیق است. اما مشکل اینجاست که هیچ دلیل منطقی برای اعتماد به این اعداد وجود ندارد.
چرا LLM نمی‌تواند امتیاز اطمینان واقعی بدهد؟
برای درک این موضوع، اول باید بدانیم «اعتماد» یعنی چه. فرض کنید یک هواشناس می‌گوید «هفتاد درصد مطمئنم فردا باران می‌آید». این عدد حاصل پردازش داده‌های واقعی مانند رطوبت، فشار هوا و سوابق تاریخی است. اگر در تمام روزهایی که هواشناس ادعای ۷۰ درصد اطمینان کرده، در ۷۰ درصد مواقع باران ببارد، می‌گوییم پیش‌بینی او «کالیبره‌شده» و دقیق است. برای داشتن یک امتیاز اطمینان معتبر، به دو چیز نیاز داریم:
- عدد ارائه‌شده بازتاب‌دهنده میزان اطلاعات و شواهد موجود باشد.
- امتیاز در عمل و در مواجهه با پرسش‌های مشابه سنجیده و کالیبره‌شده باشد.
اما مدل زبانی بزرگ چطور کار می‌کند؟ مدل‌ها به شکل خودرگرسیو (Autoregressive) و توکن به توکن کار می‌کنند. وقتی از مدل می‌پرسید «چقدر مطمئنی؟»، پاسخ‌هایی مثل «۰.۸۵» از یک مدار داخلی یا محاسبه دقیق概率 بیرون نمی‌آید؛ بلکه صرفاً محتمل‌ترین توکن بعدی در متن است که شبیه به یک امتیاز اطمینان نوشته شده است.
به همین دلیل، اگر سوال را با عبارتی دیگر بپرسید یا دوباره تکرار کنید، عدد خروجی تغییر می‌کند، در حالی که اطلاعات و شواهد تغییری نکرده‌اند. این اعداد کالیبره نشده‌اند و مدل تنها یاد گرفته است که امتیازهای اطمینان در متون انسانی چه شکلی هستند.
چگونه بدون LLM امتیاز اطمینان بسازیم؟
اگر نمی‌توانیم به عدد خروجی مدل تکیه کنیم، راه‌حل چیست؟ باید رویکرد هواشناس را تقلید کنیم: ساخت یک قانون یا سیستم منطقی که اطلاعات را به امتیاز تبدیل کند و مرتباً نتایج را با واقعیت بسنجد.
برای مثال، در یک سیستم پشتیبانی مشتریان که از LLM برای پاسخ‌دهی استفاده می‌کند، می‌توانید مراحل زیر را طی کنید:
- انتخاب ویژگی‌ها و اطلاعات قابل‌مشاهده: بررسی کنید که آیا جستجو مقاله‌ای مرتبط پیدا کرده است؟ آیا این سوال قبلاً پاسخ داده شده است؟ اگر مدل دو بار به یک سوال جواب دهد، آیا پاسخ‌ها با هم توافق دارند؟
- ثبت سوابق: تمام پاسخ‌ها، اطلاعات ورودی و اینکه آیا پاسخ در نهایت درست بوده یا خیر را ذخیره کنید.
- بروزرسانی قانون: پاسخ‌ها را بر اساس ویژگی‌هایشان دسته‌بندی کنید و ببینید در هر دسته چه درصدی از پاسخ‌ها واقعاً درست بوده‌اند.
- پایش مداوم: مرتباً بررسی کنید که آیا ادعای سیستم با واقعیت مطابقت دارد یا خیر.
نگاه جامعه هکرنیوز
بحث‌های پیرامون این موضوع در هکرنیوز نکات جالبی را روشن کرد. برخی کاربران یادآوری کردند که مدل‌های زبانی بزرگ در نهایت پیش‌بینی‌کننده توکن بعدی هستند و نمی‌توانند استدلال کنند؛ آن‌ها تنها استدلال کردن را تقلید می‌کنند. نظرات دیگری نیز وجود داشت که اشاره می‌کردند کالیبره کردن مدل بدون داشتن یک دیتاست ارزیابی‌شده و مشخص غیرممکن است. یکی از کاربران به طنز اشاره کرد که LLMها به دلیل داشتن سلایق متوسط انسانی، تمایل دارند پاسخ‌های قالبی و عمومی تولید کنند که این امر اهمیت اعتبارسنجی مستقل را دوچندان می‌کند.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل