پروژه Distributed Proofreaders: مأموریت توزیع‌شده برای دیجیتال‌سازی کتاب‌های عمومی

مقدمه و زمینه تاریخی

تبدیل کتاب‌های قدیمی و چاپ‌شده به فرمت‌های دیجیتال همیشه یکی از چالش‌های بزرگ در حوزه حفظ میراث ادبی بوده است. پروژه Distributed Proofreaders (به اختصار DP) در سال ۲۰۰۰ توسط Charles Franks پایه‌گذاری شد تا فرآیند دیجیتال‌سازی کتاب‌های حوزه Public Domain را تسریع کند. این سامانه در ابتدا برای کمک به Project Gutenberg راه‌اندازی شد و اکنون به عنوان منبع اصلی تأمین‌کننده کتاب‌های الکترونیکی این آرشیو بزرگ شناخته می‌شود. همان‌طور که کاربران در جوامع برنامه‌نویسی مانند Hacker News اخیراً به مناسبت ۲۶ سالگی این پروژه اشاره کرده‌اند، پایداری و تداوم چنین زیرساخت‌های متکی بر جامعه (Community-driven) بسیار الهام‌بخش است.

معماری و نحوه کارکرد پلتفرم

ابزارهای OCR یا تشخیص نوری حروف، اگرچه پیشرفت زیادی کرده‌اند، اما همچنان در مواجهه با فونت‌های قدیمی، کیفیت پایین کاغذ یا اسکن‌های مخدوش دچار خطاهای جدی می‌شوند. پلتفرم DP با ارائه یک سیستم مبتنی بر وب، این مشکل را با خرد جمعی و پارالل‌سازی انسانی حل می‌کند:

• اسکن و متن OCR: در هر صفحه وب، تصویر اسکن‌شده یک صفحه کتاب در کنار متن خروجی OCR مربوط به آن نمایش داده می‌شود.
• روند بازبینی چندمرحله‌ای: یک داوطلب متن را با تصویر مقایسه و اصلاح می‌کند. سپس همان صفحه به داوطلب دوم و سوم ارسالی می‌شود تا صحت آن به دقت بررسی گردد.
• مراحل قالب‌بندی: پس از مرحله تصحیح متن، صفحان از دو مرحله فرمت‌بندی عبور می‌کنند.
• مونتاژ نهایی: یک Post-processor در نهایت صفحات را به یک e-book کامل تبدیل کرده و آن را به آرشیو Project Gutenberg ارسال می‌کند.

چرا این پروژه برای مهندسان نرم‌افزار اهمیت دارد؟

برای توسعه‌دهندگان، Distributed Proofreaders نماد یک سیستم توزیع‌شده کلاسیک است که در آن «گره‌ها» انسان‌ها هستند. این پروژه نشان می‌دهد چگونه می‌توان یک وظیفه بزرگ و سنگین پردازشی/داده‌ای را به تکه‌های کوچک تقسیم کرد، صف‌های پردازشی (Queue) ساخت، و با مکانیزم‌های بازبینی چندگانه (Multi-tier Verification) به دقت داده بالایی دست یافت؛ آن هم بدون اتکا به الگوریتم‌های پیچیده هوش مصنوعی و صرفاً با اتکا به مدل‌های مشارکت آزاد.