معرفی Spinf-serve؛ سرور استنتاج متن برای پردازش دسته‌ای و مدل‌های تصمیم‌گیری

پروژه Spinf-serve یک موتور استنتاج (Inference Engine) متن‌باز تحت مجوز Apache 2.0 است که به‌طور اختصاصی برای دسته‌بندی انبوه (Bulk Classification) و مدل‌های تصمیم‌گیری (Decision Models) توسعه یافته است. این پروژه توسط سازمان spinfinc و به عنوان خروجی یک سیستم پردازش اخبار مالی روزانه شکل گرفته است؛ جایی که لازم بود میلیون‌ها مقاله خبری با ده‌ها سوال دقیق و کالیبره‌شده تحلیل شوند.

مسئله‌ای که Spinf-serve حل می‌کند

سرورهای سنتی چت و استنتاج (مانند مدل‌های مرسوم LLM) محتوا را برای هر سوال دوباره می‌خوانند و توکن‌ها را به صورت متنی تولید می‌کنند. این رویکرد برای سناریوهایی که در آن‌ها می‌خواهید یک متن را بگیرید و ده‌ها سوال بله/خیر، گزینه‌ای یا استخراجی درباره‌اش بپرسید، بسیار کند و پرهزینه است.

سیستم Spinf-serve محتوا را دقیقاً یک‌بار می‌خواند، هر سوال را به عنوان یک شاخه (Branch) از همان خوانش پردازش می‌کند و به جای تولید پاراگراف، توزیع احتمالات را روی گزینه‌های از پیش تعیین‌شده برمی‌گرداند. این ساختار باعث می‌شود تا سیستم برای پردازش‌های با توان عملیاتی بالا (Throughput) بهینه شود.

مشخصات فنی و معماری

• زبان برنامه‌نویسی: پایتون (Python)
• سخت‌افزار مورد نیاز: یک کارت گرافیک NVIDIA با حافظه ۲۴ گیگابایت (مانند RTX 4090 یا L4) مجهز به هسته‌های FP8 Tensor. برای کارت‌های قدیمی‌تر مبتنی بر Ampere نیز از وزن‌های int8 پشتیبانی می‌شود.
• سازگاری: ارائه API سازگار با OpenAI که به راحتی با ابزارهای موجود قابل یکپارچه‌سازی است.
• ویژگی‌های برجسته: پشتیبانی از محتوای چندرسانه‌ای (متن، تصویر، صوت و ویدیو)، امکان استخراج داده‌ها با دقت بالا، خروجی‌های احتمالی دقیق شامل مقدار floor_p (برای سنجش بایاس پایه مدل بدون محتوا) و قابلیت استفاده از Prompt Packها.

نحوه نصب و استفاده

برای راه‌اندازی سریع این ابزار روی لینوکس با پایتون ۳.۱۲، می‌توانید از پکیج پایتون یا ایمیج داکر استفاده کنید:

pip install "spinf-serve[server]"
spinf-serve serve spinf/gemma-4-12b-fp8

یا با استفاده از Docker و ابزار کمکی NVIDIA Container Toolkit:

docker run --gpus all -p 8000:8000 -v spinf-cache:/root/.cache ghcr.io/spinfinc/spinf-serve

سپس می‌توانید با یک درخواست ساده curl به پورت 8000، چندین دسته‌بندی و استخراج اطلاعات را روی یک محتوا به صورت هم‌زمان اجرا کنید.

مقایسه با جایگزین‌ها و عملکرد

سازندگان این ابزار آن را با ابزارهایی مثل vLLM (نسخه ۰.۲۶ همراه با کَش پیشوند) مقایسه کرده‌اند. در بنچمارک‌های انجام‌شده روی یک کارت RTX 4090 با مدل Gemma 4 12B، مشخص شد که Spinf-serve به دلیل پرهیز از تولید توکن‌های اضافی و پردازش شاخه‌ای سوالات، سرعتی به مراتب بالاتر (حدود ۲ تا ۳ برابر) در پاسخ به سوالات انبوه ارائه می‌دهد.

دیدگاه جامعه هکرنیوز

در بحث‌های هکرنیوز، توسعه‌دهندگان به کاربردهای این ابزار در حوزه‌هایی نظیر ربات‌های تحلیل‌گر رمزارز و اخبار مالی اشاره کردند. قابلیت floor_p برای فهمیدن اینکه مدل بدون داشتن محتوا چه پیش‌فرضی داشته است، با استقبال خوب مهندسان روبه‌رو شد. همچنین برخی کاربران درباره حساسیت ترتیب سوالات در بسته‌های پرامپت (Prompt Packs) بحث‌هایی مطرح کردند، اما به طور کلی سادگی و کارایی بالای این ابزار در سناریوهای دسته‌بندی و تعدیل محتوا تحسین شد.