طوّر الباحثون نظاماً يخلق قصصاً مصوّرة من الفيديوهات والأفلام

ابتكر علماء الكمبيوتر على مدى السنوات القليلة الماضية العديد من التقنيات الآلية التي يمكنها إنشاء نصوص وصور وأنواع أخرى من البيانات تلقائياً. وتعدّ هذه النماذج مفيدة للغاية، لا سيما لإنشاء البيانات أو الأعمال الإبداعية التي تتطلب الكثير من الوقت وتستغرق وقتاً طويلاً بالنسبة للبشر لإنتاجها يدوياً.

احصل على القصة المصورة لفيلمك المفضّل

أنشأ باحثون في جامعة داليان للتكنولوجيا في الصين وجامعة سيتي في هونغ كونغ مؤخرًا برنامجاً مبتكراً يمكنه إنشاء كتب قصص المانجا المصورة تلقائياً، والتي يصممها عادةً فنانين محترفين ذوي مهارات عالية وتتطلب عملاً مكثفاً. إذ يُنشئ إطار عملهم، المُقدم في ورقة بحثية نُشرت مسبقاً على «arXiv»؛ منصة ما قبل النشر النهائي، كتباً هزلية عن طريق استخراج البيانات من المسلسلات التلفزيونية والأفلام والرسوم المتحركة أو مقاطع الفيديو الأخرى.

كتب الباحثون في ورقتهم: «نقترح نظاماً آلياً بالكامل لتوليد الكتب المصورة من مقاطع الفيديو دون أي تدخل بشري. وبالنظر إلى إدخال فيديو مع ترجماته، فإن نهجنا أولاً يستخرج الإطارات الرئيسية التثقيفية عن طريق تحليل الترجمات المصاحبة، وينمّق الإطارات الرئيسية في صور ذات نمط فكاهي».

بعد استخراج الإطارات الرئيسية من مقاطع الفيديو وتحويلها إلى صور مرسومة بأسلوب فكاهي، يستخدم النظام الذي ابتكره الباحثون إطاراً تخطيطياُ متعدد الصفحات لنشر الصور عبر عدة صفحات وإنشاء تخطيطات جذابة بصرياً تعكس العلاقة بين الصور.

نظام توليد يمتلك ذوقاً حسياً عالٍ

بدلاً من استخدام نفس النوع من بالونات الكلام دائماً، كما هو الحال في معظم أطر الكتب الهزلية الأخرى، يولّد الإطار الذي أنشأه الباحثون أنواعاً مختلفة من البالونات التي تعكس العاطفة التي تنقلها كلمات الشخصية. وللقيام بذلك، يحاول أولاً فهم المشاعر التي تنقلها خطوط مختلفة من الحوار من خلال تحليل كل من المسار الصوتي للفيديو والترجمات المقابلة.

يختلف شكل بالونات الحوار التي تم إنشاؤها بواسطة النموذج وحجم الكلمات الواردة فيها بناءً على المشاعر التي تنقلها الشخصيات. يعمل هذا على تحسين تجربة القراءة المصورة بشكل عام، مما ينتج عنه تخطيطات أكثر جاذبية تعكس محتوى الحوارات بين الشخصيات المختلفة.

يتم وضع بالونات الكلام التي تم إنشاؤها بواسطة النظام بجوار الشخصيات التي تتحدث. وللقيام بذلك على أكمل وجه، يكتشف النموذج أولاً من هم المتحدثين المختلفين في الفيديو ثم يضع بالونات الكلام التي تتماشى مع المشاعر التي تعبر عنهم بالقرب من كلاً منهم.

قام الباحثون بتقييم نظامهم في سلسلة من التجارب عملت على تقييم مزاياه الفردية ومقارنة جودة الرسوم الهزلية التي ينتجها مع تلك التي تم إنشاؤها بواسطة أحدث التقنيات الموجودة لترجمة مقاطع الفيديو إلى كتب هزلية. إذ تم استخدام النظام لتوليد الرسوم الهزلية بناءً على 16 مقطع فيديو مستخرج من أربعة أفلام ومسلسلات، وهي؛ «تيتانيك» و «ذا مسج» و «فريندس» و «أب إن ذي آير». وكانت مقاطع الفيديو هذه تتراوح بين دقيقتين وست دقائق.

قصص مصوّرة ترضي ذوق قراءها

طلب الفريق من مجموعة من الأشخاص تقييم الجودة الإجمالية للرسوم الهزلية التي أنتجها نموذجهم، مقارنةً بتلك التي ينتجها نظام توليد قصص مصورة آخر. وقال الغالبية العظمى من المتطوعين الذين شاركوا في هذه الدراسة إنهم يفضلون التخطيطات التي أنشأها نموذج الباحثين هذا على تلك التي أنشأها النظام المطور مسبقاً.

كتب الباحثون في ورقتهم البحثية: «تُظهر تجاربنا أن نظامنا يمكن أن يصنع رسوماً هزلية أكثر تعبيراً وجاذبية مقارنةً بأحدث نظام لتوليد القصص المصورة. على الرغم من أن نظامنا قد حقق نتائج واعدة، إلا أنه لا يزال خاضعاً لعدة قيود. على سبيل المثال، لا يكون اختيار الإطار الرئيسي دقيقاً بما يكفي. ففي بعض الحالات، تكون الإطارات الرئيسية المحددة متشابهة مع بعضها البعض، مما يؤدي بالتأكيد إلى التكرار في تلك القصص».

بمجرد تصحيح أخطاءه، سيمكن استخدام نظام إنشاء القصص المصورة الذي طوره فريق الباحثين هذا لإنشاء كتب هزلية جذابة بشكلٍ تلقاي استناداً إلى الأفلام أو المسلسلات التلفزيونية أو محتوى فيديو آخر. ويخطط الباحثون في دراساتهم التالية لتطوير وحدة نمطية بديلة لاختيار الإطار الرئيسي، حيث يمكن أن يؤدي ذلك إلى تحسين جودة التخطيطات التي ينتجها نظامهم وتقليل تكرار الإطارات الرئيسية.

وما هو أكثر من ذلك، سيكون من الممكن إنتاج كتب هزلية من القصص النصية قفط، وذلك مستوحى من العديد من الأساليب الحالية التي يمكن أن تولد تسلسلاً للصور في إطار قصة ذات جمل متعددة، وإذ يركّز الباحثون اهتمامهم بتوسيع طريقتهم للاستفادة من المعلومات النصية للمساعدة في إنشاء قصص المانجا.