معرفی Overtone؛ ابزاری متن‌باز برای ساخت و اصلاح زیرنویس ویدیو متناسب با هر نوع فرمت صفحه

معرفی پروژه Overtone

تولید زیرنویس برای ویدیوها معمولاً با دو چالش بزرگ دستی همراه است: نخست اصلاح کلماتی که موتورهای تشخیص گفتار (STT) به اشتباه شنیده‌اند، و دوم تنظیم طرح‌بندی خطوط (مانند پایان یافتن خط با حروف اضافه‌ای مثل «the»). ابزار Overtone که توسط تیم Lont توسعه یافته و با مجوز MIT به صورت متن‌باز منتشر شده است، پاسخی به این مشکلات است. این پروژه شامل یک ابزار خط فرمان (CLI)، یک فرمت داده اختصاصی و یک پلاگین برای Video.js است که زیرنویس‌ها را به شکلی بهینه برای نسبت‌های مختلف تصویر (مانند افقی ۱۶:۹ و عمودی ۹:۱۶) برش می‌زند.

چرا زیرنویس‌های معمولی ناکارآمد هستند؟

بیشتر زیرنویس‌ها تنها یک‌بار و با پر کردن خطوط تا رسیدن به حد نصاب کاراکتر برش می‌خورند. این روش باعث می‌شود زیرنویس تنظیم شده برای فرمت ۱۶:۹ در صفحه عمودی تلفن همراه (۹:۱۶) به هم بریزد، خطوط در جای نامناسبی شکسته شوند (مثلاً جدا شدن نام‌ها و اعداد از یکدیگر) یا مکث‌های سخنران نادیده گرفته شوند. ایده اصلی Overtone این است که هر کلمه و زمان‌بندی آن تنها یک‌بار ذخیره می‌شود و سپس برش‌های متعددی متناسب با ابعاد مختلف صفحه از روی آن تولید می‌گردد.

نحوه کارکرد معماری فنی

این ابزار برای دستیابی به بالاترین دقت، از رویکرد ترکیب چند مدل (Multi-model) بهره می‌ برد:

• شنیدن (Hearings): صدا توسط چند موتور مختلف (مانند OpenAI، Azure AI Speech و ElevenLabs Scribe) پردازش می‌شود تا متن و زمان‌بندی دقیق کلمات استخراج گردد.
• رأی‌گیری متنی (Text Vote): در جاهایی که مدل‌ها با یکدیگر اختلاف دارند، قطعات کوچک صدا دوباره ارسال شده و یک مدل زبانی بزرگ (LLM) تصمیم می‌گیرد که چه چیزی واقعاً گفته شده است.
• ویرایشگر هوشمند: یک مدل زبانی با استفاده از زمینه موضوعی (Context)، واژه‌نامه اختصاصی و دانش عمومی خود، کلمات اشتباه شنیده شده (مانند اصلاح نام شرکت‌ها یا اصطلاحات تخصصی) را تصحیح می‌کند و کلمات نامطمئن را برای بررسی انسانی علامت‌گذاری می‌نماید.
• قوانین برش خطوط: قوانین مشخصی اعمال می‌شود تا از شکستن نام‌ها، اعداد و کلمات ضعیف در انتهای خط جلوگیری شود و مکث‌های طولانی سخنران به عنوان وقفه در متن منعکس گردد.

نحوه استفاده و شروع سریع

برای استفاده از قابلیت برش مجدد (Recut) زیرنویس‌های موجود به صورت آفلاین و بدون نیاز به کلید API یا ffmpeg (نیازمند Node.js نسخه ۲۲.۱۲ به بالا)، می‌توانید از دستور زیر استفاده کنید:

npx overtone-captions recut TOS-en.srt

برای تولید زیرنویس جدید از فایل صوتی یا ویدیویی با استفاده از کلیدهای API:

npm install -g overtone-captions
overtone transcribe talk.mp4 --language en --context "Panel about urban cycling"

برای نمایش زیرنویس‌ها در وب با استفاده از پلاگین Video.js:

import videojs from 'video.js';
import 'video.js/dist/video-js.css';
import 'videojs-overtone';
import 'videojs-overtone/themes/base.css';
import 'videojs-overtone/themes/clean.css';

videojs('my-video').overtone({ src: 'talk.overtone.json' });

در یک نگاه

• نام پروژه: overtone-captions
• زبان برنامه‌نویسی: TypeScript
• مجوز: MIT
• مخاطبان: توسعه‌دهندگان وب، تیم‌های تولید محتوا و مهندسان نرم‌افزار
• قابلیت‌های کلیدی: پشتیبانی از چند مدل هوش مصنوعی، فرمت اختصاصی .overtone.json، پلاگین Video.js و ابزار CLI

دیدگاه جامعه در هکرنیوز

در بحث‌های هکرنیوز، کاربران به افت کیفیت زیرنویس‌های خودکار در سرویس‌های مدرن و عدم حضور نظارت انسانی کافی اشاره کرده‌اند. رویکرد Overtone در استفاده از لایه تصحیح LLM و قوانین ساختاریافته، پاسخی مستقیم به همین دغدغه‌هاست؛ هرچند استفاده از چندین مدل هوش مصنوعی به طور همزمان هزینه‌های پردازشی را افزایش می‌دهد، اما برای مواردی که کیفیت و دقت زیرنویس اهمیت حیاتی دارد، کاملاً توجیه‌پذیر است.