مدل متن‌باز انویدیا Nemotron 3.5 Transcribe برای تشخیص گفتار و پردازش صوتی — Nvidia Nemotron 3.5 Transcribe: open ASR for 40 languages
خلاصه
مدل جدید انویدیا با نام Nemotron 3.5 Transcribe یک ابزار متن‌باز برای تبدیل گفتار به متن در ۴۰ زبان مختلف است. این مدل علاوه بر تشخیص گفتار، قابلیت‌هایی مانند تفکیک گویندگان، ترجمه و پرسش‌وپاسخ صوتی را از طریق دستورات زبان طبیعی ارائه می‌دهد.
شرکت انویدیا مدل جدید و متن‌باز خود را به نام Nemotron 3.5 Transcribe معرفی کرده است که یک سیستم همه‌جارو برای تبدیل گفتار به متن، تفکیک گویندگان (Diarization)، ترجمه و پاسخ به پرسش‌های صوتی محسوب می‌شود. این مدل روی پلتفرم‌های Hugging Face و ModelScope در دسترس توسعه‌دهندگان قرار گرفته است.
زمینه و بافت فنی
در پروژه‌های پردازش گفتار (ASR)، معمولاً چالش‌های فراوانی مانند شناسایی لهجه‌ها، مدیریت تداخل صداها، برچسب‌گذاری گویندگان و ترجمه دقیق وجود دارد. مدل‌های سنتی نیازمند خط لوله‌های چندمرحله‌ای و پیچیده بودند. مدل Nemotron 3.5 Transcribe تلاش می‌کند با استفاده از یک چک‌پوینت واحد، تمام این نیازها را پوشش دهد و به توسعه‌دهندگان اجازه دهد با دستورات زبان طبیعی (Prompting)، خروجی مورد نظر خود را کنترل کنند.
مشخصات کلیدی و معماری
این مدل از ویژگی‌های فنی برجسته‌ای برخوردار است:
- پشتیبانی از ۴۰ زبان مختلف برای تبدیل گفتار به متن، ترجمه ۳۱ زبان به/از انگلیسی و تفکیک گویندگان برای حداکثر ۸ نفر در یک بازه زمانی تا یک ساعت.
- استفاده از معماری ترکیبی Mamba و Transformer به همراه Mixture of Experts (MoE) که باعث می‌شود از مجموع حدود ۳۰ میلیارد پارامتر، تنها حدود ۴ میلیارد پارامتر در هر توکن فعال باشد و کارایی بالایی در بهره‌وری محاسباتی ثبت کند.
- رتبه برتر در بنچمارک‌های معترفی مانند Hugging Face Open ASR Leaderboard در بخش‌های انگلیسی، چندزبانه و فایل‌های طولانی.
- کسب کمترین نرخ خطای diarization در بنچمارک David AI برای تشخیص گویندگان در ۲۱ زبان.
خط لوله داده Granary v2
انویدیا همزمان با این مدل، پایپ‌لاین متن‌باز آماده‌سازی داده خود به نام Granary v2 را همراه با ابزارهای fine-tuning در مجموعه NeMo Speech منتشر کرده است. این پایپ‌لاین شامل داده‌های صوتی از پیش پردازش‌شده برای آموزش و تطبیق مدل با دامنه‌های تخصصی (مانند اصطلاحات پزشکی) است. در بررسی‌های موردی، استفاده از fine-tuning توانسته است نرخ خطای واژگان (WER) را در حوزه‌های تخصصی پزشکی به شکل چشمگیری کاهش دهد.
نحوه اجرا و استقرار
توسعه‌دهندگان می‌توانند هم‌اکنون از طریق کتابخانه vLLM به این مدل دسترسی داشته باشند. همچنین نسخه‌های کمّی‌سازی‌شده (Quantized) برای اجرا روی سخت‌افزارهای محلی مانند کارت‌های گرافیک RTX یا سرورهای دیتاسنتر Blackwell انویدیا تدارک دیده شده است.
چرا برای مهندسان اهمیت دارد؟
برای توسعه‌دهندگانی که روی دستیارهای صوتی، ابزارهای مستندسازی جلسات، یا پلتفرم‌های آموزشی زنده کار می‌کنند، این مدل امکاناتی فراتر از یک ASR معمولی فراهم می‌کند. قابلیت هدایت خروجی با پرامپت‌های متنی، زمان‌بندی دقیق در سطح کلمه (Word-level timestamps) و امکان شخصی‌سازی مدل با داده‌های اختصاصی، آن را به گزینه‌ای قدرتمند برای پروژه‌های سازمانی تبدیل کرده است.
این مطلب به‌صورت کاملاً خودکار و با هوش مصنوعی از مقالهٔ اصلی و بحث هکرنیوز تهیه شده و ممکن است خطا داشته باشد. حقوق مطلب اصلی متعلق به نویسندهٔ آن است. قوانین و گزارش مشکل