معرفی USDB؛ سیستم ذخیره‌سازی مقیاس‌پذیر بای‌دنس برای سیستم‌های توصیه‌گر نسل جدید

سیستم‌های توصیه‌گر مدرن روزبه‌روز به تاریخچه‌های طولانی‌تر و غنی‌تر از ویژگی‌های کاربران وابستگی پیدا می‌کنند. این روند باعث ایجاد یک نامتقارنی شدید در ذخیره‌سازی می‌شود که از یک سو شامل به‌روزرسانی‌های مداوم و کوچک است و از سوی دیگر به خوانش‌های بزرگ و مکرر نیاز دارد. در همین راستا، مهندسان ByteDance سیستم ذخیره‌سازی یکپارچه‌ای به نام USDB را توسعه داده‌اند که به‌طور ویژه برای بهینه‌سازی بار کاری استریمینگ (Streaming) و دسته‌ای (Batch) در مقیاس‌های بسیار بزرگ ساخته شده است.

چالش‌های ذخیره‌سازی در توصیه‌گرهای نسل جدید

مدل‌های توصیه‌گر امروزی نیازمند دسترسی سریع به داده‌های تاریخی کاربران هستند. چالش اصلی در اینجا تضاد میان نیاز به درج (Insert) مداوم داده‌های جدید و خواندن سنگین این تاریخچه‌ها برای فازهای استنتاج (Inference) و آموزش (Training) است. پایگاه‌های داده سنتی مانند RocksDB در چنین سناریوهایی دچار تنگناهای عملکردی می‌شوند، زیرا الگوی دسترسی به داده‌ها در سیستم‌های توصیه‌گر الگوهای متفاوتی نسبت به پایگاه‌های داده عمومی دارد.

معماری و جزئیات فنی USDB

سیستم USDB با بهه‌سازی‌های ساختاری عمیق توانسته است این شکاف را پر کند. مهم‌ترین ویژگی‌های فنی این معماری عبارتند از:

• تراکم مبتنی بر زمان (CascadeLSM): این مکانیزم مراحل متوالی تراکم را در ساختار LSM-tree مدیریت می‌کند تا تاریخچه‌های مختص هر اپلیکیشن به شکلی بهینه‌تر materialize شوند.
• نسخه‌های متمایز (Differentiated Replicas): استفاده از فایل‌های پایدار مشترک میان چند نسخه برای کاهش فضای مصرفی و افزایش بهره‌وری.
• بازسازی جزئی داده‌ها (Partial Dumps): قابلیت بازسازی ورودی‌های استنتاج با استفاده از وضعیت‌های اخیر ضبط‌شده و تاریخچه‌های نسخه‌بندی‌شده.
• فرمت ستونی ترکیبی (Hybrid Columnar Format): شتاب‌بخشی به خوانش‌های پروژه‌شده با ترکیب رویکردهای ستونی و سطری.

این طراحی‌ها باعث می‌شود که نتایج کارهای تعمیر و نگهداری (Maintenance) در سه حوزه ingestion، inference و training به اشتراک گذاشته شوند و از دوباره‌کاری جلوگیری شود.

دستاوردها و مقایسات عملکردی

بر اساس گزارش‌های مهاجرت در محیط پروداکشن، سیستم USDB توانسته است به نتایج خیره‌کننده‌ای دست پیدا کند:

• کاهش ۸۵.۸ درصدی میانگین تأخیر نوشتن (Write Latency).
• کاهش ۴۲.۱ درصدی هزینه‌های زیرساختی بر اساس حسابداری استقرار نرمال‌شده.
• افزایش توان عملیاتی (Throughput) تا ۸.۵ برابر در خوانش‌های عادی به کمک قابلیت aggregation pushdown.

آزمایش‌های مقایسه‌ای کنترل‌شده با نسخهٔ بهینه‌شده RocksDB نشان دادند که USDB در خوانش تاریخچه‌های طولانی در پروژه‌های مختلف عملکرد به مراتب بهتری دارد.

نگاه جامعه مهندسی به این فناوری

در بحث‌های انجام‌شده پیرامون این مقاله، توسعه‌دهندگان به چالش‌های گذار به سیستم‌های توصیه‌گر مولد (Generative Recommenders) اشاره کرده‌اند؛ از جمله پیچیدگی‌های مربوط به کاردینالیت محصولات (مانند Semantic IDs)، مشکلات شروع سرد (Cold Start) و هزینه‌های بالای پیش‌بینی و آموزش. با این حال، معماری‌هایی نظیر USDB نشان می‌دهند که بهبود زیرساخت‌های پایه و لایه ذخیره‌سازی می‌تواند قدمی کلیدی برای غلبه بر این موانع و هموار کردن مسیر سرویس‌دهی بلادرنگ باشد.