معرفی Laminar؛ ابزاری متن‌باز مجهز به هوش مصنوعی برای ردیابی خطاهای ایجنت‌ها — Launch HN: Laminar (YC S24) – RL-trained model that finds errors in agent traces
خلاصه
ابزار Laminar یک پلتفرم متن‌باز برای ردیابی و مانیتورینگ ایجنت‌های هوش مصنوعی است. این ابزار با مدل اختصاصی flow-1 که با یادگیری تقویتی (RL) آموزش دیده، خطاهای پنهان در اجرای ایجنت‌ها را با هزینه‌ای بسیار کمتر از مدل‌های بزرگ شناسایی می‌کند.
توسعه‌دهندگانی که با ایجنت‌های هوش مصنوعی (AI Agents) کار کرده‌اند، به خوبی می‌دانند که بزرگ‌ترین چالش، خطاهای ضمنی هستند. ایجنت ممکن است مراحل طولانی را طی کند، ابزارها را فراخوانی کند و در نهایت خروجی موفقیت‌آمیزی برگرداند، اما در یک گام میانی دکمه اشتباهی را کلیک کرده یا سند نامرتبطی را ارجاع داده باشد. پلتفرم Laminar (ساخته شده توسط تیم YC S24) با انتشار مدل جدیدی به نام flow-1 تلاش کرده تا این مشکل را از ریشه حل کند.
مدل flow-1 و معماری Signals چیست؟
بسیاری از پلتفرم‌های مانیتورینگ تنها داده‌ها و تریس‌ها (Traces) را جمع‌آوری می‌کنند، اما هزینه‌بر بودن تحلیل آن‌ها توسط مدل‌های زبانی بزرگ باعث می‌شود این لاگ‌ها دست‌نخورده باقی بمانند. سازندگان Laminar برای حل این مسئله، یک مدل کوچک متن‌باز را با استفاده از یادگیری تقویتی (RL) روی هزاران سناریوی شبیه‌سازی‌شده در حوزه‌های نرم‌افزاری، حقوقی و پشتیبانی آموزش داده‌اند. طبق ادعای تیم سازنده، این مدل کیفیت تشخیصی مشابه مدل‌های بسیار بزرگ دارد اما ۲۳ برابر ارزان‌تر اجرا می‌شود.
این مدل درون بستری به نام Signals اجرا می‌شود که همانند یک ایجنت برنامه‌نویسی عمل می‌کند. مکانیزم آن به این شکل است:
- یک تریس کامل از ایجنت به همراه درخواست کاربر را به صورت فشرده دریافت می‌کند.
- تریس را مانند یک ریپازیتوری کد بررسی می‌کند که در آن هر
span(فراخوانی LLM یا ابزار) به عنوان یک فایل در نظر گرفته می‌شود. - ابزار جستجو (
grep) را روی اسپن‌ها اعمال کرده و موارد مرتبط را می‌خواند. - نتایج را بر اساس یک ساختار JSON دلخواه که کاربر تعریف کرده است، برمی‌گرداند.
خوشه‌بندی و بستن چرخه توسعه
پس از استخراج خطاها، با حجم انبوهی از رویدادها مواجه می‌شویم. Laminar رویدادهای سیگنال مشابه را به صورت خودکار خوشه‌بندی (Cluster) می‌کند تا توسعه‌دهندگان بتوانند مشکلات تکرارشونده را شناسایی کنند. این ساختار به تیم‌ها اجازه می‌دهد تریس‌های خطادار را به مجموعه داده‌های ارزیابی (Eval Dataset) تبدیل کنند و پیش از انتشار نسخه جدید، کدهای خود را با آن‌ها تست کنند.
این پروژه تحت لایسنس Apache 2.0 منتشر شده و قابلیت میزبانی شخصی (Self-host) را دارد.
نگاهی به بحث‌های هکرنیوز
جامعه توسعه‌دهندگان در هکرنیوز به نکات فنی جالبی اشاره کردند:
- یکی از کاربران پرسید که آیا مدل می‌تواند تفاوت بین خطای ابزار (مانند داده‌های کش‌شده و کهنه) و بد خواندن نتیجه توسط ایجنت را تشخیص دهد، چرا که از دیدگاه تریس این دو بسیار شبیه به هم هستند.
- بحثی پیرامون نحوه اولویت‌بندی خطاها شکل گرفت؛ اینکه آیا باید خطاها را بر اساس میزان تکرار آن‌ها در تریس‌ها سنجید یا بر اساس میزان تأثیر واقعی روی کاربر نهایی.
- یک کاربر به چالش جالب افزایش هزینه‌های پشتیبانی پس از راه‌اندازی ایجنت اشاره کرد؛ به این دلیل که ایجنت‌ها مسائل ساده را حل می‌کنند و تنها پرونده‌های بسیار پیچیده به انسان‌ها ارجاع داده می‌شوند که میانگین هزینه پشتیبانی انسانی را بالا می‌برد.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مطلب اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل