جدول المحتويات[يخفي][يعرض]
مرحبًا ، هل تعلم أنه يمكن إنشاء مشهد ثلاثي الأبعاد من مدخلات البيانات ثنائية الأبعاد في ثوانٍ باستخدام نموذج العرض العصبي الفوري NeRF من NVIDIA ، ويمكن عرض صور هذا المشهد بالمللي ثانية؟
من الممكن تحويل مجموعة من الصور الثابتة بسرعة إلى بيئة رقمية ثلاثية الأبعاد باستخدام التقنية المعروفة باسم التقديم العكسي ، والتي تمكن الذكاء الاصطناعي من محاكاة كيفية عمل الضوء في العالم الفعلي.
إنه أحد النماذج الأولى من نوعها التي يمكن أن تجمع بين تدريب الشبكة العصبية فائق السرعة والعرض السريع ، وذلك بفضل التقنية التي ابتكرها فريق البحث في NVIDIA والتي تكمل العملية بسرعة مذهلة - على الفور تقريبًا.
ستدرس هذه المقالة NeRF الخاص بـ NVIDIA بشكل متعمق ، بما في ذلك سرعته وحالات الاستخدام وعوامل أخرى.
إذا ماذا نيرف?
يرمز NeRF إلى حقول الإشعاع العصبي ، والتي تشير إلى تقنية لإنشاء مناظر فريدة للمشاهد المعقدة من خلال تحسين وظيفة المشهد الحجمي المستمر الأساسية باستخدام عدد صغير من طرق عرض الإدخال.
عند إعطاء مجموعة من الصور ثنائية الأبعاد كمدخلات ، تستخدم NeRFs من NVIDIA الشبكات العصبية لتمثيل وإنشاء مشاهد ثلاثية الأبعاد.
هناك حاجة إلى عدد صغير من الصور من زوايا مختلفة حول المنطقة لـ الشبكة العصبية، جنبًا إلى جنب مع موقع الكاميرا في كل إطار.
كلما تم التقاط هذه الصور مبكرًا ، كان ذلك أفضل ، خاصة في المشاهد التي تحتوي على ممثلين أو أشياء متحركة.
سيتم تلطيخ المشهد ثلاثي الأبعاد الذي تم إنشاؤه بواسطة AI إذا كان هناك الكثير من الحركة أثناء إجراء التقاط الصورة ثنائية الأبعاد.
من خلال توقع لون الضوء المنبعث في كل اتجاه من أي مكان في البيئة ثلاثية الأبعاد ، تملأ NeRF بشكل فعال الفجوات التي خلفتها هذه البيانات لبناء الصورة بأكملها.
نظرًا لأن NeRF يمكنه إنشاء مشهد ثلاثي الأبعاد في بضع أجزاء من الثانية بعد تلقي المدخلات المناسبة ، فهو أسرع نهج NeRF حتى الآن.
يعمل NeRF بسرعة كبيرة بحيث يكون فوريًا تقريبًا ، ومن هنا جاء اسمه. إذا كانت التمثيلات ثلاثية الأبعاد القياسية مثل الشبكات متعددة الأضلاع عبارة عن صور متجهة ، فإن NeRFs هي صور نقطية: فهي تلتقط بكثافة الطريقة التي ينبعث بها الضوء من كائن أو داخل مشهد.
NeRF الفوري يعد أمرًا ضروريًا للثلاثية الأبعاد حيث أن الكاميرات الرقمية وضغط JPEG كانا للتصوير ثنائي الأبعاد ، مما يعزز بشكل كبير السرعة والراحة والوصول إلى الالتقاط والمشاركة ثلاثية الأبعاد.
يمكن استخدام Instant NeRF لإنتاج صور رمزية أو حتى مشاهد كاملة للعوالم الافتراضية.
لتكريم الأيام الأولى لصور Polaroid ، أعاد فريق أبحاث NVIDIA إنشاء لقطة شهيرة لأندي وارهول يلتقط صورة فورية ويحولها إلى مشهد ثلاثي الأبعاد باستخدام Instant NeRF.
هل هو حقا أسرع 1,000 مرة؟
قد يستغرق إنشاء مشهد ثلاثي الأبعاد ساعات قبل إنشاء NeRF ، اعتمادًا على مدى تعقيده وجودته.
يسرع الذكاء الاصطناعي العملية بشكل كبير ، لكن لا يزال الأمر يستغرق ساعات للتدريب بشكل صحيح. باستخدام طريقة تسمى تشفير التجزئة متعدد الدقة ، التي ابتكرتها NVIDIA ، تقلل Instant NeRF أوقات العرض بمقدار 1,000 مرة.
تم استخدام حزمة Tiny CUDA Neural Networks ومجموعة أدوات NVIDIA CUDA لإنشاء النموذج. وفقًا لـ NVIDIA ، نظرًا لأنها شبكة عصبية خفيفة الوزن ، يمكن تدريبها واستخدامها على وحدة معالجة رسومات NVIDIA واحدة ، مع تشغيل بطاقات NVIDIA Tensor Core بأقصى سرعات.
استخدام القضية
تعتبر السيارات ذاتية القيادة من أهم تطبيقات هذه التقنية. تعمل هذه المركبات إلى حد كبير من خلال تخيل محيطها أثناء ذهابها.
ومع ذلك ، فإن مشكلة التكنولوجيا الحالية هي أنها خرقاء وتستغرق وقتًا طويلاً.
ومع ذلك ، باستخدام Instant NeRF ، كل ما هو مطلوب للسيارة ذاتية القيادة لتقريب / فهم حجم وشكل الكائنات في العالم الحقيقي هو التقاط صور ثابتة ، وتحويلها إلى ثلاثية الأبعاد ، ثم استخدام تلك المعلومات.
لا يزال هناك استخدام آخر في metaverse أو لعبة فيديو صناعات الإنتاج.
لأن Instant NeRF يسمح لك ببناء صور رمزية أو حتى عوالم افتراضية كاملة بسرعة ، هذا صحيح.
تقريبا القليل شخصية ثلاثية الأبعاد ستكون النمذجة مطلوبة لأن كل ما عليك فعله هو تشغيل الشبكة العصبية ، وسوف تولد لك شخصية.
بالإضافة إلى ذلك ، لا تزال NVIDIA تستكشف تطبيق هذه التقنية للتطبيقات الإضافية المتعلقة بالتعلم الآلي.
على سبيل المثال ، يمكن استخدامه لترجمة اللغات بشكل أكثر دقة من السابق وتعزيز الغرض العام التعلم العميق الخوارزميات المستخدمة الآن لمجموعة واسعة من المهام.
وفي الختام
تعتمد العديد من مشكلات الرسومات على هياكل البيانات الخاصة بالمهمة للاستفادة من نعومة المشكلة أو تبعثرها.
يركز البديل العملي القائم على التعلم الذي يقدمه تشفير التجزئة متعدد الدقة من NVIDIA تلقائيًا على التفاصيل ذات الصلة ، بغض النظر عن عبء العمل.
لمعرفة المزيد حول كيفية عمل الأشياء في الداخل ، تحقق من المسؤول GitHub جيثب: مستودع.
اترك تعليق