ارزیابی ایجنت‌های هوش مصنوعی در حوزه مالیات با بنچمارک جدید DAYJOB: Tax — Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
خلاصه
بنچمارک جدید DAYJOB: Tax کارایی ایجنت‌های هوش مصنوعی را در حل پرونده‌های پیچیده مالیاتی و اعمال قضاوت حرفه‌ای می‌سنجد. بررسی‌ها نشان می‌دهد مدل‌های پیشرفته فعلی هنوز در تشخیص مسائل حیاتی پنهان و مدیریت اطلاعات ناقص با چالش جدی روبه‌رو هستند.
معرفی بنچمارک DAYJOB: Tax
شرکت Surge AI با انتشار نسخه جدیدی از خانواده بنچمارک‌های DAYJOB تحت عنوان DAYJOB: Tax، توانایی ایجنت‌های هوش مصنوعی را در انجام وظایف تخصصی مالیاتی ارزیابی کرده است. برخلاف بنچمارک‌های سنتی که سوالات مشخص یا محاسبه‌های از پیش‌تعیین‌شده را بررسی می‌کنند، این ابزار سناریوهای دنیای واقعی را شبیه‌سازی می‌کند که در آن‌ها دستورالعمل‌ها کامل نیستند و ایجنت باید خود ابعاد پنهان مسئله را کشف کند.
این بنچمارک شامل ۵۰ محیط کاری در هشت حوزه مختلف مالیاتی (مانند مالیات اشخاص حقیقی، املاک، تراست‌ها و مسائل چندایالتی) است. مدل‌ها باید درخواست‌های مشتریان را به همراه مدارک پیوست پردازش کرده و خروجی‌هایی نظیر اظهارنامه مالیاتی، کاربرگ، بررسی فنی یا مشاوره حقوقی ارائه دهند.
جزئیات فنی و حجم داده‌ها
محیط‌های کاری این بنچمارک بسیار متنوع و نزدیک به واقعیت طراحی شده‌اند. مجموعه داده شامل موارد زیر است:
- تعداد ۱۷۸۹ فایل کاری در مجموع (با میانگین ۳۰ فایل برای هر سناریو)
- شامل ۱۴۸۷ فایل PDF، ۱۱۷ فایل اکسل، ۳۸ سند Word و اقلامی مانند ایمیل، تصاویر، فایل‌های CSV و رکوردهای JSON
- سناریوهای خاص مانند تصاویر رسیدهای دست‌نویس خرید کالا، لاگ‌های اعزام نیرو در چند ایالت مختلف برای بررسی مالیات چندایالتی، یا اسناد مالیاتی بین‌المللی همراه با تاریخچه رمزارزها
توسعه‌دهندگان این بنچمارک برای ارزیابی دقیق، از متخصصان مالیاتی باسابقه کمک گرفته‌اند تا سناریوها، معیارهای درجه‌بندی و راه‌حل‌های استاندارد را تدوین کنند.
نتایج و عملکرد مدل‌ها
بر اساس نتایج جدول امتیازات (Leaderboard) این بنچمارک و با اعمال آستانه موفقیت ۹۵ درصدی روی معیارهایی نظیر محاسبات، مدارک پشتیبان و مسائل تبعی:
- مدل Claude Sonnet 5.5 با نرخ قبولی ۱۰.۸ درصد در صدر جدول قرار دارد.
- مدل‌های Claude Fable 5.1 و Claude Opus 5.5 به ترتیب با ۹.۶ و ۹.۲ درصد در رتبه‌های بعدی جای گرفته‌اند.
یکی از چالش‌های کلیدی نشان داده شده در این ارزیابی، تفاوت بین «پاسخ به سوال مستقیم کاربر» و «تشخیص مسائل حیاتی ناگفته» است. برای نمونه، در یک سناریو درباره زمان‌بندی فروش ملک برای معافیت مالیاتی، برخی مدل‌ها تاریخ پیشنهادی را به درستی تایید کردند اما از هشدار دادن درباره مهلت قانونی انقضای آن غافل شدند.
دیدگاه جامعه هکرنیوز
بحث‌های شکل‌گرفته پیرامون این انتشار در Hacker News حاوی نکات جالبی بود:
- کاربران از عملکرد بهتر مدل Sonnet نسبت به نسخه بزرگ‌تر Opus در این بنچمارک اظهار تعجب کردند؛ الگویی که در سایر ارزیابی‌های این شرکت نیز دیده شده بود.
- برخی کاربران به پتانسیل بالای این ابزارها برای صرفه‌جویی مالی سالانه در صورت کاهش خطاهای محاسباتی و ممیزی اشاره کردند.
- دغدغه‌های حریم خصوصی و به اشتراک‌گذاری اطلاعات مالی حساس با شرکت‌های ارائه‌دهنده LLM نیز از سوی جامعه مهندسی مطرح شد.
چرا این بنچمارک برای مهندسان مهم است؟
برای توسعه‌دهندگانی که روی سیستم‌های اتوماسیون مالی، حقوقی و ایجنت‌های هوش مصنوعی کار می‌کنند، این بنچمارک نشان می‌دهد که توانایی پردازش توکن و کدنویسی برای حل مسائل حرفه‌ای کافی نیست. چالش اصلی در دنیای واقعی، مدیریت ابهام، تشخیص تناقضات در داده‌های ساختاریافته و ناپیوسته، و داشتن قضاوت حرفه‌ای مشابه یک متخصص انسانی است.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل