مدل صوتی Dessa؛ مکالمه تمام‌دوطرفه و احساسی بدون نیاز به تبدیل متن

مدل Dessa چیست؟

مدل Dessa یک مدل صوتی-به-صوتی (Speech-to-Speech) جدید است که توسط یک تیم تحقیقاتی کوچک در شرکت Block (با سرپرستی Ragavan Thurairatnam و زیر نظر Jack Dorsey) توسعه یافته است. برخلاف سیستم‌های صوتی متداول که ابتدا صدای کاربر را به متن تبدیل کرده (STT)، آن را به یک LLM می‌فرستند و سپس خروجی متن را به صوت تبدیل می‌کنند (TTS)، مدل Dessa به طور مستقیم روی صوت خالص آموزش دیده است.

این معماری اجازه می‌دهد تا مدل به صورت Full-Duplex یا تمام‌دوطرفه عمل کند؛ یعنی همانند یک انسان واقعی، در حین شنیدن حرف‌های شما می‌تواند واکنش نشان دهد، وسط صحبت بپرد، یا کلمات تأییدی مثل «اوکی» و «آها» بگوید.

ویژگی‌های فنی و نحوه آموزش

نکته متمایزکننده درباره Dessa نحوه آموزش آن است:

• آموزش از صفر با صوت: این مدل هیچ مدل زبانی پیش‌آموزش‌یافته‌ای (Pretrained LLM) ندارد و روی هیچ متنی آموزش ندیده است. داده‌های ورودی صرفاً مکالمات انسانی بوده است.
• درک احساسات و لحن: چون مدل با صوت خام آموزش دیده، به طور طبیعی زیروبم صدا، خنده وسط جمله، نفس کشیدن، کنایه، و لحن‌های مختلف (مانند صدای گرفته از غم یا هیجان) را می‌فهمد و بازتولید می‌کند.
• سخت‌افزار و کارایی: این مدل به اندازه‌ای بهینه است که استنتاج (Inference) آن سریع‌تر از زمان واقعی انجام می‌شود و می‌تواند به صورت لوکال روی لپ‌تاپ‌های MacBook Pro مجهز به تراشه M4 Max یا قوی‌تر اجرا شود. تیم سازنده همچنین اعلام کرده که کل فرآیند آموزش این مدل تنها روی یک سرور NVIDIA GB200 NVL72 انجام شده است.

چرا Dessa برای مهندسان اهمیت دارد؟

صنعت هوش مصنوعی سال‌هاست که درگیر خط لوله‌های پیچیده تبدیل صوت به متن و برعکس است که تأخیر بالا دارد و تمام اطلاعات ظریف و احساسی نهفته در تن صدا را نابود می‌کند. Dessa رویکرد کاملاً متفاوتی را اثبات می‌کند:

1. ارتباط طبیعی: انسان‌ها زبان را با گوش دادن یاد می‌گیرند، نه خواندن متون حجیم برنامه‌نویسی یا کتاب‌ها. Dessa نشان می‌دهد که یادگیری زبان از طریق صوت خالص امکان‌پذیر و بسیار کارآمد است.
2. ابعاد ایمنی (Safety): هوش مصنوعی‌های امروزی نسبت به درد، اضطراب یا حالات هیجانی صدای انسان «کر» هستند. تیمی که پشت Dessa قرار دارد، به دلیل ابعاد امنیتی و نیاز به بررسی خطرات پیش‌بینی‌نشده، دسترسی زودهنگام به این مدل را در اختیار پژوهشگران ایمنی هوش مصنوعی قرار داده است.

نگاه جامعه هکرنیوز

واکنش‌ها در هکرنیوز به این پروژه ترکیبی و جالب بود. برخی کاربران با شنیدن نمونه‌های صوتی اولیه انتقاد داشتند و حس می‌کردند کادنس (آهنگ کلام) و لحن پاسخ‌ها هنوز کاملاً طبیعی به نظر نمی‌رسد و با چالش‌هایی روبه‌روست، در حالی که برخی دیگر رویکرد ساختاری این مدل در حذف لایه متن و پردازش مستقیم صوت را گامی نوین در معماری‌های صوتی می‌دانند.