مزامنة الشفاه والصوت على يوتيوب: دبلجة أكثر دقة وذكاء

أفادت تقارير تقنية بأن منصة يوتيوب تختبر مشروعاً تجريبياً لمزامنة حركة الشفاه مع الصوت المترجم، وذلك بالاستعانة بتقنيات الذكاء الاصطناعي.

منصة يوتيوب تختبر مزامنة حركة الشفاه بالذكاء الاصطناعي لتحسين الدبلجة

وبحسب ما جاء في التقارير، فإن مشروع يوتيوب الجديد يعتمد على إجراء تعديلات طفيفة على حركة الفم، لتقليل الإحساس بعدم التناسق بين الصوت والصورة.

ومع أن الدبلجة تتم تلقائياً، فقد أكدت يوتيوب أن صناع المحتوى يحتفظون بحرية القرار، حيث يمكنهم تعطيل الدبلجة الآلية بالكامل، أو رفع نسخ مدبلجة يدوياً للتحكم الكامل في الجودة.

كما تعتمد المنصة على أنظمة تصفية ذكية لتجنب دبلجة المحتوى غير المناسب، مثل المقاطع الموسيقية أو الفيديوهات الصامتة.

وأفادت يوتيوب بأن الأخطاء لا تزال واردة، خاصة بسبب مشكلات في التعرف على الصوت، أو ضعف جودة التسجيل الأصلي، لكنها أكدت أن هذه الأنظمة ستتحسن تدريجياً مع زيادة الاستخدام وتلقي الملاحظات.

وكانت تقارير سابق قد ذكرت أن يوتيوب تعمل كذلك على توسيع نطاق ميزة الدبلجة التلقائية وتحسين أدائها، في خطوة تهدف إلى تعزيز وصول المحتوى إلى جمهور عالمي أوسع.

وتسعى المنصة من خلال هذا التحديث إلى تسهيل تجربة المشاهدة على المستخدمين، بحيث يتمكنون من متابعة الفيديوهات بلغتهم الأم بسلاسة، دون الاضطرار للاعتماد على الترجمة النصية، أو البحث عن نسخ مكررة من المحتوى بلغات مختلفة.

وتعتمد هذه الميزة على تقنيات ذكاء اصطناعي متقدمة تقوم أولاً بتحليل المسار الصوتي الأصلي للفيديو بدقة، بما يشمل الكلمات والنبرة والسياق.

بعد ذلك، تتم ترجمة المحتوى إلى اللغة المستهدفة، ثم يعاد إنتاجه في صورة دبلجة صوتية متكاملة تتماشى مع توقيت الفيديو الأصلي.

وبينت التقارير أن يوتيوب تركز في تطوير هذه التقنية على محاكاة الخصائص التعبيرية للصوت البشري، مثل نبرة المتحدث، والإحساس العاطفي، وإيقاع الإلقاء، حتى تبدو النسخة المدبلجة طبيعية وأقرب ما تكون إلى الأداء الحقيقي.

جدير بالذكر أن هذه الخطوات من يوتيوب تأتي ضمن توجه أوسع للمنصة نحو تخصيص تجربة المشاهدة بالذكاء الاصطناعي، إلى جانب ميزات أخرى مثل Recap، التي تحلل سجل المشاهدة، لتقديم توصيف شخصي لاهتمامات المستخدم وطريقة عرض المحتوى المقترح له.