پروژه HackerTube؛ ساخت یک فید ویدیویی سفارشی با ویدیوهای معرفی‌شده در هکرهایوز

مقدمه و زمینه

بسیاری از برنامه‌نویسان و کاربران حرفه‌ای اینترنت از سیستم پیشنهاددهی (Recommendation System) پلتفرم‌هایی مانند یوتیوب ناراضی هستند. پیشنهادهای تکراری، تامبنیل‌های اغراق‌آمیز و محتوای اصطلاحاً زرد، تجربه‌ای ناخوشایند ایجاد می‌کنند. پروژه HackerTube پاسخی خلاقانه به همین مشکل است؛ یک رابط کاربری به سبک یوتیوب که تنها محتوای آن، ویدیوهایی است که کاربران هکرهایوز طی سال‌های ۲۰۰۷ تا ۲۰۲۶ در کامنت‌های خود به اشتراک گذاشته‌اند.

جزئیات فنی و نحوه ساخت

این پروژه با ایده فرار از «دیوار محتوای بی‌کیفیت» یوتیوب شکل گرفته و پیاده‌سازی آن با کمک ابزارهای هوش مصنوعی و مدل‌های زبانی تنها حدود دو ساعت زمان برده است. روند کار به این شکل بوده است:

• استخراج داده‌ها: تمام کامنت‌های Hacker News دانلود و فیلتر شدند تا آنهایی که حاوی لینک و معرفی ویدیوی یوتیوب بودند جدا شوند.
• پاکسازی با هوش مصنوعی: از مدل Sonnet برای بررسی کامنت‌ها، حذف اسپم و محتوای کم‌ارزش استفاده شد. در نهایت حدود ۴۰ هزار کامنت معتبر باقی ماند که به نزدیک به ۶,۵۰۰ ویدیوی یوتیوب در ۱۵۰ حوزه مختلف منجر شد.
• زیرساخت و فرانت‌اند: کل مجموعه در قالب یک فرانت‌اند شبیه به یوتیوب بسته‌بندی، روی یک VPS مستقر و بهینه‌سازی شد.
• حفظ حریم خصوصی: هیچ حساب کاربری روی این پلتفرم وجود ندارد و حالت‌های کاربری و شخصی‌سازی فید صرفاً در Local Storage مرورگر کاربر ذخیره می‌شوند.
• ویژگی‌های جالب: استفاده از تصویر بندانگشتی جایگزین (Thumbnail) از اواسط ویدیو به جای تصویر آپلودشده و امکان خروجی گرفتن از داده‌های سایت برای ساخت نسخه‌های شخصی توسط ایجنت‌های هوش مصنوعی.

نگاه جامعه هکرهایوز

بحث‌های شکل‌گرفته پیرامون این پروژه در Hacker News نکات جالبی را روشن کرد:

• کیفیت فید: بسیاری از کاربران شگفت‌زده شده بودند که یک فید غیرشخصی‌سازی‌شده مبتنی بر سلیقه جامعه هدف هکرهایوز، چقدر دقیق‌تر از الگوریتم شخصی‌سازی‌شده یوتیوب عمل می‌کند.
• پیشنهاد پلتفرم‌های دیگر: برخی پیشنهاد کردند که به جای یک وب‌سایت مستقل، بهتر است این لیست‌ها به شکل پلی‌لیست‌های خودکار در یوتیوب منتشر شوند تا نیازی به تغییر تجربه کاربری نباشد.
• نگرانی‌های حقوقی: عده‌ای نیز ابراز نگرانی کردند که یوتیوب ممکن است نسبت به میزبانی محتوای خود روی پلتفرم‌های شخص ثالث واکنش نشان دهد و مانع فعالیت آن شود.
• درخواست قابلیت‌ها: افزودن امکان مرتب‌سازی بر اساس تاریخ انتشار (به‌ویژه برای ویدیوهای جدیدتر حوزه هوش مصنوعی و تکنولوژی) از دیگر درخواست‌های کاربران بود.

چرا برای مهندسان اهمیت دارد؟

پروژه HackerTube نشان می‌دهد که چطور می‌توان با ترکیب ابزارهای اسکریپت‌نویسی، مدل‌های زبانی بزرگ و داده‌های باز (Open Data)، در مدت‌زمانی بسیار کوتاه ابزاری کاربردی ساخت که مشکلات پلتفرم‌های بزرگ مونوپول را دور بزند. این پروژه همچنین ارزش بالای curation یا همان «نظارت و گزینش انسانی» (توسط جامعه‌ای مانند HN) را در برابر سیستم‌های پیشنهاددهنده مبتنی بر engagement و کلیک‌بیت به رخ می‌کشد.