يعد العرض العصبي تقنية ناشئة في التعلم العميق تهدف إلى زيادة خط الأنابيب الكلاسيكي لرسومات الكمبيوتر بالشبكات العصبية.
ستتطلب خوارزمية العرض العصبي مجموعة من الصور تمثل زوايا مختلفة من نفس المشهد. سيتم بعد ذلك إدخال هذه الصور في شبكة عصبية لإنشاء نموذج يمكنه إخراج زوايا جديدة لنفس المشهد.
يكمن التألق وراء العرض العصبي في كيفية إعادة إنشاء المشاهد الواقعية التفصيلية بدقة دون الحاجة إلى الاعتماد على الأساليب الكلاسيكية التي قد تكون أكثر تطلبًا من الناحية الحسابية.
قبل الخوض في كيفية عمل التجسيد العصبي ، دعنا ننتقل إلى أساسيات التصيير الكلاسيكي.
ما هو التقديم الكلاسيكي؟
لنفهم أولاً الطرق النموذجية المستخدمة في التصيير الكلاسيكي.
يشير التصيير الكلاسيكي إلى مجموعة التقنيات المستخدمة لإنشاء صورة ثنائية الأبعاد لمشهد ثلاثي الأبعاد. يُعرف أيضًا باسم تركيب الصورة ، يستخدم العرض الكلاسيكي خوارزميات مختلفة لمحاكاة كيفية تفاعل الضوء مع أنواع مختلفة من الكائنات.
على سبيل المثال ، سيتطلب تقديم لبنة صلبة مجموعة معينة من الخوارزميات لتحديد موضع الظل أو مدى الإضاءة الجيدة على جانبي الجدار. وبالمثل ، فإن الأشياء التي تعكس أو تنكسر الضوء ، مثل المرآة أو الجسم اللامع أو جسم مائي ، ستتطلب تقنياتها الخاصة أيضًا.
في العرض الكلاسيكي ، يتم تمثيل كل أصل بشبكة مضلعة. سيستخدم برنامج تظليل بعد ذلك المضلع كمدخل لتحديد كيف سيبدو الكائن في ضوء الإضاءة والزاوية المحددة.
سيتطلب العرض الواقعي قدرًا أكبر من القوة الحسابية نظرًا لأن أصولنا تنتهي بملايين من المضلعات لاستخدامها كمدخلات. عادةً ما يستغرق إنتاج المخرجات التي يتم إنشاؤها بواسطة الكمبيوتر والتي تكون شائعة في أفلام هوليوود الرائجة أسابيع أو حتى أشهر ويمكن أن تكلف ملايين الدولارات.
نهج تتبع الشعاع مكلف بشكل خاص لأن كل بكسل في الصورة النهائية يتطلب حساب مسار الضوء الذي يسلكه الضوء من مصدر الضوء إلى الكائن والكاميرا.
جعلت التطورات في الأجهزة من جعل الرسومات أكثر سهولة للمستخدمين. على سبيل المثال ، العديد من الأحدث ألعاب الفيديو السماح بتأثيرات تتبع الأشعة مثل انعكاسات الصور الواقعية والظلال طالما أن أجهزتهم على مستوى المهمة.
تم تصميم أحدث وحدات معالجة الرسومات (GPU) خصيصًا لمساعدة وحدة المعالجة المركزية على التعامل مع العمليات الحسابية المعقدة للغاية المطلوبة لتقديم رسومات واقعية للصور.
صعود التقديم العصبي
يحاول التصيير العصبي معالجة مشكلة العرض بطريقة مختلفة. بدلاً من استخدام الخوارزميات لمحاكاة كيفية تفاعل الضوء مع الأشياء ، ماذا لو أنشأنا نموذجًا يتعلم كيف يجب أن يبدو المشهد من زاوية معينة؟
يمكنك التفكير في الأمر على أنه اختصار لإنشاء مشاهد واقعية. مع التجسيد العصبي ، لا نحتاج إلى حساب كيفية تفاعل الضوء مع كائن ما ، نحتاج فقط إلى بيانات تدريب كافية.
يتيح هذا النهج للباحثين إنشاء عروض عالية الجودة للمشاهد المعقدة دون الحاجة إلى الأداء
ما هي المجالات العصبية؟
كما ذكرنا سابقًا ، تستخدم معظم عمليات العرض ثلاثية الأبعاد شبكات مضلعة لتخزين البيانات حول شكل وملمس كل كائن.
ومع ذلك ، تكتسب الحقول العصبية شعبية كطريقة بديلة لتمثيل الكائنات ثلاثية الأبعاد. على عكس شبكات المضلع ، فإن الحقول العصبية قابلة للتفاضل ومستمرة.
ماذا نعني عندما نقول أن الحقول العصبية قابلة للتفاضل؟
يمكن الآن تدريب ناتج ثنائي الأبعاد من مجال عصبي ليصبح واقعيًا ببساطة عن طريق ضبط أوزان الشبكة العصبية.
باستخدام الحقول العصبية ، لم نعد بحاجة إلى محاكاة فيزياء الضوء لتقديم مشهد. يتم الآن تخزين المعرفة حول كيفية إضاءة العرض النهائي بشكل ضمني داخل أوزاننا الشبكة العصبية.
يتيح لنا ذلك إنشاء صور ومقاطع فيديو جديدة بسرعة نسبيًا من مجرد عدد قليل من الصور أو مقاطع الفيديو.
كيف تدرب المجال العصبي؟
الآن بعد أن عرفنا أساسيات كيفية عمل المجال العصبي ، دعنا نلقي نظرة على كيفية قدرة الباحثين على تدريب مجال الإشعاع العصبي أو نيرف.
أولاً ، سنحتاج إلى أخذ عينات من الإحداثيات العشوائية للمشهد وإدخالها في شبكة عصبية. ستتمكن هذه الشبكة بعد ذلك من إنتاج كميات ميدانية.
تعتبر كميات الحقول المنتجة عينات من مجال إعادة البناء المطلوب للمشهد الذي نريد إنشاءه.
سنحتاج بعد ذلك إلى تعيين إعادة الإعمار إلى صور ثنائية الأبعاد فعلية. ستقوم الخوارزمية بعد ذلك بحساب خطأ إعادة الإعمار. سيوجه هذا الخطأ الشبكة العصبية لتحسين قدرتها على إعادة بناء المشهد.
تطبيقات التقديم العصبي
توليف عرض الرواية
يشير توليف العرض الجديد إلى مهمة إنشاء مناظير الكاميرا من زوايا جديدة باستخدام بيانات من عدد محدود من المنظورات.
تحاول تقنيات العرض العصبي تخمين الموضع النسبي للكاميرا لكل صورة في مجموعة البيانات وتغذية تلك البيانات في شبكة عصبية.
ستقوم الشبكة العصبية بعد ذلك بإنشاء تمثيل ثلاثي الأبعاد للمشهد حيث يكون لكل نقطة في الفضاء ثلاثي الأبعاد لون وكثافة مرتبطة.
تطبيق جديد لـ NeRFs في جوجل ستريت فيو يستخدم توليف عرض جديد للسماح للمستخدمين باستكشاف مواقع العالم الحقيقي كما لو كانوا يتحكمون في كاميرا تلتقط مقطع فيديو. يتيح ذلك للسائحين استكشاف الوجهات بطريقة غامرة قبل اتخاذ قرار السفر إلى موقع معين.
صور واقعية
يمكن أن تمهد التقنيات المتقدمة في العرض العصبي الطريق أيضًا لتجسيدات رقمية أكثر واقعية. يمكن بعد ذلك استخدام هذه الصور الرمزية لأدوار مختلفة مثل المساعدين الافتراضيين أو خدمة العملاء ، أو كطريقة للمستخدمين لإدراج صورهم في لعبة فيديو أو تصيير محاكى.
على سبيل المثال، ورقة نُشر في مارس 2023 يقترح استخدام تقنيات العرض العصبي لإنشاء صورة رمزية واقعية بعد بضع دقائق من لقطات الفيديو.
وفي الختام
يعد العرض العصبي مجال دراسة مثيرًا لديه القدرة على تغيير صناعة رسومات الكمبيوتر بأكملها.
يمكن أن تقلل التكنولوجيا من حاجز الدخول لإنشاء أصول ثلاثية الأبعاد. قد لا تضطر فرق المؤثرات المرئية إلى الانتظار أيامًا لعرض بضع دقائق من الرسومات الواقعية للصور.
قد يتيح الجمع بين التكنولوجيا وتطبيقات الواقع الافتراضي والواقع المعزز للمطورين أيضًا إنشاء تجارب غامرة أكثر.
ما رأيك هو الاحتمال الحقيقي للتصيير العصبي؟
اترك تعليق