پیروزی مدل کلاسیک CNN بر مدل‌های پیشرفته زبانی در تشخیص سرطان پوست

در دنیایی که مدل‌های زبانی بزرگ (LLM) تقریباً برای هر وظیفه‌ای از برنامه‌نویسی گرفته تا تحلیل پزشکی به کار گرفته می‌شوند، یک آزمایش تازه نشان می‌دهد که معماری‌های قدیمی‌تر و تخصصی هنوز هم حرف برای گفتن دارند. در این مقاله، عملکرد دو مدل پیشرفته یعنی GPT-6 Astra و Claude Fable 5.1 با یک شبکه عصبی کانولوشنی (CNN) قدیمی به نام Inception v3 مقایسه شده است.

زمینه و جزئیات تست

آزمایش روی ۲۰۰ ضایعه پوستی تأییدشده با نمونه‌برداری (بیوپسی) انجام شد که شامل تصاویر بالینی و درموسکوپی بودند. این داده‌ها از مجموعه داده عمومی MILK10k (منتشرشده توسط ISIC در سال ۲۰۲۵) استخراج شده بودند. ضایعات به دو دسته نیازمند پیگیری و بی‌خطر تقسیم می‌شدند.

مدل CNN استفاده‌شده در این آزمایش یک مدل مدرن و State-of-the-art نیست، بلکه مدل Inception v3 گوگل (متعلق به سال ۲۰۱۵) است که روی عکس‌های روزمره از پیش آموزش دیده و سپس روی نزدیک به ۶۸ هزار تصویر درموسکوپی و بالینی با استفاده از یک کارت گرافیک H100 فاین‌تیون (Fine-tune) شده است. داده‌های تست به طور کامل از مجموعه داده آموزشی حذف شده بودند تا از هرگونه Overfitting جلوگیری شود. جالب اینجاست که این مدل به قدری سبک است که به لطف WebGPU می‌تواند مستقیماً درون مرورگر موبایل اجرا شود.

مقایسه نتایج: ۶۲ درصد در برابر ۴۲ درصد

در این ارزیابی:

• مدل CNN توانست در ۶۲ درصد موارد (۱۲۵ مورد از ۲۰۰) تشخیص درست بدهد.
• مدل‌های LLM تنها در ۴۲ درصد موارد (۸۴ و ۸۵ مورد) موفق عمل کردند.
• مدل‌های زبانی تمایل عجیبی به بیش‌بینی بیش از حد یک بیماری خاص داشتند؛ مثلاً یکی از آن‌ها ۷۵ ضایعه را کارسینوم سلول بازال تشخیص داد، در حالی که تعداد واقعی تنها ۲۵ مورد بود.

با این حال، نویسنده به محدودیت‌هایی مانند کوچک بودن حجم نمونه (۲۰۰ ضایعه)، سخت بودن موارد انتخاب‌شده (چون همه بیوپسی شده بودند) و استفاده از یک مدل پایه و قدیمی به جای مدل‌های Vision Transformer مدرن اشاره می‌کند.

نگاه جامعه هکر نیوز

بحث‌های کاربران در هکر نیوز نکات جالب فنی و انتقادی به همراه داشت:

• برخی کاربران اشاره کردند که این موضوع کاملاً طبیعی است؛ درست همان‌طور که یک ماشین‌حساب در ضرب و تقسیم از LLMها عملکرد بهتری دارد، برای کارهای دسته‌بندی در مقیاس وسیع نیز باید از مدل‌های تخصصی (مانند CNNها یا XGBoost) استفاده کرد.
• عده‌ای دیگر مطرح کردند که این مدل‌ها ممکن است روی داده‌های مشخصی اصطلاحاً «بنچ‌مکس» (Benchmax) شده باشند و در مواجهه با تصاویر واقعی‌تر در دنیای آزاد دچار چالش شوند.
• برخی نیز به پیشرفت مدل‌های تخصصی‌تر مبتنی بر ترنسفورمر مانند SkinGPT-4 اشاره کردند که می‌توانند نتایج بهتری نسبت به این CNN قدیمی ارائه دهند.

چرا برای مهندسان اهمیت دارد؟

این مقاله یادآوری می‌کند که ترند بودن مدل‌های زبانی به این معنا نیست که آن‌ها بهترین ابزار برای هر مسئله‌ای هستند. برای پوسته‌بندی، پردازش تصویر و کارهایی که نیاز به دقت بالا و هزینه پایین در لبه (Edge) دارند، ساخت یک مدل اختصاصی با معماری مناسب و هزینه‌ی آموزش پایین‌تر، اغلب نتایج بسیار قابل‌اعتمادتری نسبت به پرتاب کردن یک LLM عمومی به سمت مسئله به همراه دارد.