هل سبق لك أن شاهدت فيلمًا أو لعبت لعبة فيديو أو استخدمت الواقع الافتراضي ولاحظت أي شيء عن كيفية تحرك الشخصيات البشرية وظهورها؟
لطالما كان إنشاء بشر واقعيين ومفصلين بواسطة الكمبيوتر هدفًا لرسومات الكمبيوتر وأبحاث الرؤية الحاسوبية.
• HumanRF المشروع هو خطوة أولى مثيرة نحو هذا الهدف
HumanRF هو تمثيل مشهد عصبي ديناميكي يستخدم إدخال فيديو متعدد العروض لالتقاط مظهر الجسم بالكامل للبشر أثناء الحركة. دعونا نرى ما هو كل شيء وما هي الفوائد المحتملة لهذه التكنولوجيا.
تصوير الأداء البشري
لطالما كان إنشاء تمثيلات واقعية للإعدادات الافتراضية يمثل مشكلة في رسومات الحاسوب.
تقليديا ، أنشأ الفنانون كائنات ثلاثية الأبعاد يدويًا. ومع ذلك ، فقد ركزت الدراسات الحديثة على إعادة إنشاء تمثيلات ثلاثية الأبعاد من بيانات العالم الحقيقي.
كان التقاط وتوليف الأداء البشري الواقعي ، على وجه الخصوص ، محورًا للدراسة لتطبيقات مثل إنتاج الأفلام وألعاب الكمبيوتر والتواجد عن بُعد.
تقدم مجال الإشعاع العصبي الديناميكي
في السنوات الأخيرة ، تم إحراز تقدم هائل في مواجهة هذه التحديات من خلال استخدام مجالات الإشعاع العصبي الديناميكي (NeRF). NeRF قادر على إعادة بناء الحقول ثلاثية الأبعاد المشفرة في منظور متعدد الطبقات (MLP) ، مما يسمح بتركيب عرض جديد.
بينما ركز NeRF في البداية على المشاهد الثابتة ، تناولت الأعمال الحديثة المشاهد الديناميكية باستخدام تكييف الوقت أو حقول التشوه. ومع ذلك ، لا تزال هذه الأساليب تكافح مع التسلسلات الأطول ذات الحركة المعقدة ، لا سيما عندما يتعلق الأمر بالتقاط الصور المتحركة.
قاعدة بيانات HQ ل
لمعالجة هذه العيوب ، يقترح المحترفون ActorsHQ ، وهي مجموعة بيانات جديدة عالية الدقة من البشر الذين يرتدون ملابس في حركة مُحسَّنة لتوليف عرض جديد واقعي. تحتوي مجموعة البيانات على تسجيلات متعددة العرض من 160 كاميرا متزامنة ، تلتقط كل منها تدفقات فيديو بدقة 12 ميجابكسل.
تسمح مجموعة البيانات هذه بإنشاء تمثيل مشهد جديد يمد ترميزات تجزئة NGP الفورية إلى المجال الزمني من خلال دمج البعد الزمني جنبًا إلى جنب مع تحليل موتر الزمكان منخفض الرتبة لشبكة الميزات.
إدخال HumanRF
HumanRF عبارة عن تمثيل مشهد عصبي ديناميكي رباعي الأبعاد يلتقط حركة الجسم بالكامل من إدخال فيديو متعدد العروض ويسمح بالتشغيل من منظورات غير مرئية من قبل. إنها تقنية لتسجيل الفيديو تلتقط الكثير من البيانات بينما تشغل مساحة صغيرة جدًا.
إنه يحقق ذلك عن طريق تقسيم المكان والزمان إلى قطع أصغر ، على غرار الطريقة التي يمكن بها تفكيك وإعادة تجميع مجموعة Lego.
يمكن لتقنية HumanRF التقاط حركات الأشخاص في مقطع فيديو جيدًا ، حتى لو كانوا يقومون بحركات صعبة أو معقدة. يُظهر مبتكرو هذه التقنية فعالية HumanRF في مجموعة بيانات ActorsHQ التي تم تقديمها حديثًا ، مما يدل على تحسن كبير في الأساليب الحالية الحديثة.
إذن ، كيف كان من الممكن إنشاء HumanRF وما هي أعماله الداخلية؟
نظرة عامة على طريقة HumanRF
تحلل شبكة ميزة 4D
يعد تحلل شبكة ميزة 4D مكونًا حاسمًا في HumanRF. من خلال الجمع بين مقاطع 4D المقسمة على النحو الأمثل ، تعمل هذه الطريقة على تشكيل مشهد ثلاثي الأبعاد ديناميكي. يحتوي كل مقطع على شبكة ميزات رباعية الأبعاد قابلة للتدريب ، والتي تشفر سلسلة من الإطارات.
لتمثيل البيانات الزمانية المكانية بشكل أكثر إحكاما ، يتم تعريف شبكة الميزات 4D على أنها تحلل لأربع شبكات ميزات ثلاثية الأبعاد وأربع شبكات ميزة 3D. تساعد ميزة تحلل الشبكة رباعية الأبعاد الطريقة في إنتاج صور عالية الجودة بمستوى عالٍ من التفاصيل مع شغل مساحة أقل.
التقسيم الزمني التكيفي
يستخدم HumanRF تصورات ضحلة متعددة الطبقات مع شبكات تجزئة متفرقة للميزات لتقديم بيانات طويلة بشكل تعسفي متعدد العروض بشكل فعال. يتم استخدام شبكة ميزة مدمجة رباعية الأبعاد لتمثيل الأجزاء الزمنية الموزعة على النحو الأمثل التي تشكل المجال الزمني.
بغض النظر عن السياق الزمني ، تحقق الطريقة قوة تمثيل فائقة باستخدام التقسيم الزمني التكيفي للتأكد من أن إجمالي حجم المساحة ثلاثية الأبعاد التي يغطيها كل مقطع بحجم مماثل. بغض النظر عن طول الفيديو ، يساعد التقسيم الزمني التكيفي في إنتاج تمثيل متسق.
الإشراف مع الخسائر ثنائية الأبعاد فقط
يتم قياس الأخطاء بين صور RGB المقدمة والمدخلات والأقنعة الأمامية بواسطة HumanRF باستخدام خسائر ثنائية الأبعاد فقط يتم الإشراف عليها.
تحقق هذه التقنية الاتساق الزمني باستخدام تحلل MLPs المشترك و 4 D ، والنتائج متشابهة جدًا مع تلك الخاصة بأحجام القطاعات الأفضل.
الطريقة أكثر فعالية وأسهل في التدريب من الطرق التي تستخدم الخسائر ثلاثية الأبعاد لأنها تستخدم الخسائر ثنائية الأبعاد فقط.
تنتج هذه الطريقة نتائج أفضل من تلك الخاصة بالطرق الأخرى التي تم اختبارها تجريبيًا ، مما يجعلها استراتيجية واعدة لإنتاج صور عالية المستوى لممثلين بشريين في حركة.
مجالات الاستخدام الممكنة
تحسين ألعاب الفيديو والواقع الافتراضي
إنشاء شخصية افتراضية في الوقت الفعلي لـ ألعاب الفيديو وتطبيقات VR ممكنة مع HumanRF. يمكن تسجيل حركة الفاعل البشري من زوايا مختلفة ، ويمكن بعد ذلك معالجة البيانات من خلال HumanRF.
هذا يسمح مطوري اللعبة لإنشاء شخصيات يمكنها التحرك والتفاعل مع البيئة بشكل أكثر واقعية ، مما يمنح اللاعبين تجربة أكثر جاذبية.
التقاط الحركة في إنتاج الأفلام
من خلال إنتاج صور واضحة لحركة الممثلين ، يمكن لـ HumanRF تعزيز التقاط الحركة في عملية صناعة الأفلام.
يمكن لصانعي الأفلام إنشاء أداء واقعي وديناميكي يمكن تحريره من زوايا مختلفة باستخدام كاميرات متعددة لتسجيل أداء الممثل و HumanRF لإنتاج تمثيل رباعي الأبعاد.
هذا يقلل من الحاجة إلى إعادة إطلاق ويقلل من تكاليف الإنتاج.
تعزيز الاجتماعات الافتراضية والمؤتمرات عن بعد
من خلال إنتاج نماذج ثلاثية الأبعاد للمشاركين البعيدين في الوقت الفعلي ، يتيح HumanRF إنشاء غامرة وواقعية في الاجتماعات الافتراضية.
يمكن أن يتمتع المشاركون في الاجتماعات الافتراضية بتجربة أكثر تشويقًا وتفاعلية من خلال التقاط حركة المشارك عن بُعد من زوايا مختلفة ومعالجة البيانات من خلال HumanRF.
بالإضافة إلى ذلك ، يمكن استخدام HumanRF لإنشاء عروض عالية الجودة للمشاركين عن بعد أثناء مؤتمرات الفيديو، مما يؤدي إلى تعاون وتواصل أفضل.
تسهيل التعليم والتدريب
يمكن استخدام HumanRF لبناء محاكاة ديناميكية وواقعية في بيئات التدريب والتعليم.
يمكن إجراء عمليات محاكاة التدريب التي تمكن المتدربين من الممارسة والتعلم في بيئة أكثر واقعية وإثارة للاهتمام من خلال تسجيل حركة المدربين أو الممثلين الذين يقومون بمهام معينة ومعالجة البيانات من خلال HumanRF.
يمكن استخدام HumanRF ، على سبيل المثال ، لتطوير عمليات محاكاة للقيادة أو الطيران أو التدريب الطبي.
تعزيز الأمن والمراقبة
في تطبيقات المراقبة والأمن ، يمكن استخدام HumanRF لإنشاء نماذج ثلاثية الأبعاد لأشخاص أو مجموعات ديناميكية وواقعية. يمكن أن يكون لموظفي الأمن تمثيل أكثر دقة لحركة الشخص وسلوكه من خلال التقاط حركة الأفراد من وجهات نظر مختلفة ومعالجة البيانات من خلال HumanRF.
هذا يحسن تحديد وتعقب التهديدات المحتملة. يمكن لموظفي الأمن التدرب والاستعداد لمواقف مختلفة باستخدام HumanRF لإنشاء محاكاة لسيناريوهات الطوارئ.
ملخص ، ما الذي يحمله المستقبل؟
HumanRF هو نهج فعال لتوليد مناظر فريدة عالية الجودة لممثل بشري متحرك. لقد أظهر نتائج واعدة في مجموعة متنوعة من التطبيقات ، بما في ذلك التقاط الحركة والواقع الافتراضي والتواجد عن بُعد. لا تقتصر إمكانات HumanRF على هذه التطبيقات ؛ هناك العديد من التطبيقات الإضافية الممكنة لهذه التقنية.
من المتوقع أن تتحسن مع تطور الدراسة في هذا القطاع ، لتصبح أكثر كفاءة ودقة.
من شبه المؤكد أن الخوارزميات والبنى الجديدة ستؤدي إلى طرق أكثر تقدمًا لنمذجة وتصوير الممثلين البشريين أثناء الحركة ، مما قد يؤدي إلى العديد من التطورات المثيرة للاهتمام في صناعات السينما والألعاب والاتصال.
علاوة على ذلك ، فإن تطبيق نماذج التعلم العميق جنبا إلى جنب مع HumanRF هو اتجاه محتمل للدراسة المستقبلية. قد يؤدي هذا إلى تقنيات تحليل ونمذجة للحركة البشرية أكثر فعالية وكفاءة.
علاوة على ذلك ، فإن الجمع بين HumanRF والتقنيات الأخرى مثل أنظمة ردود الفعل اللمسية والواقع المعزز يمكن أن يؤدي إلى تطبيقات جديدة في التدريب الطبي والتعليم والعلاج.
اترك تعليق