رندر عصبی یک تکنیک نوظهور در یادگیری عمیق است که هدف آن تقویت خط لوله کلاسیک گرافیک کامپیوتری با شبکه های عصبی است.
یک الگوریتم رندر عصبی به مجموعه ای از تصاویر نیاز دارد که زوایای مختلف یک صحنه را نشان می دهد. سپس این تصاویر به یک شبکه عصبی وارد می شوند تا مدلی ایجاد شود که بتواند زوایای جدیدی از همان صحنه را تولید کند.
درخشندگی پشت رندر عصبی در این است که چگونه میتواند صحنههای فوتورئالیستی دقیق را بدون تکیه بر روشهای کلاسیک که ممکن است از نظر محاسباتی بیشتر نیاز داشته باشند، بازسازی کند.
قبل از بررسی نحوه عملکرد رندر عصبی، بیایید به اصول اولیه رندر کلاسیک بپردازیم.
رندر کلاسیک چیست؟
بیایید ابتدا روش های معمول مورد استفاده در رندر کلاسیک را درک کنیم.
رندر کلاسیک به مجموعه تکنیک هایی اطلاق می شود که برای ایجاد یک تصویر دو بعدی از یک صحنه سه بعدی استفاده می شود. همچنین به عنوان سنتز تصویر شناخته می شود، رندر کلاسیک از الگوریتم های مختلفی برای شبیه سازی نحوه تعامل نور با انواع مختلف اشیاء استفاده می کند.
برای مثال، رندر کردن یک آجر جامد به مجموعهای از الگوریتمها نیاز دارد تا موقعیت سایه یا روشنایی هر دو طرف دیوار را مشخص کند. به طور مشابه، اشیایی که نور را منعکس یا شکست می دهند، مانند یک آینه، یک جسم براق یا یک بدنه آب، به تکنیک های خاص خود نیز نیاز دارند.
در رندر کلاسیک، هر دارایی با یک شبکه چند ضلعی نشان داده می شود. سپس یک برنامه سایه زن از چند ضلعی به عنوان ورودی استفاده می کند تا تعیین کند که جسم با توجه به نور و زاویه مشخص شده چگونه به نظر می رسد.
رندر واقعی به قدرت محاسباتی بسیار بیشتری نیاز دارد زیرا دارایی های ما در نهایت میلیون ها چند ضلعی برای استفاده به عنوان ورودی دارند. خروجی رایانهای که در فیلمهای پرفروش هالیوود رایج است، معمولاً هفتهها یا حتی ماهها طول میکشد تا بتوان آن را میلیونها دلار هزینه کرد.
روش ردیابی پرتو به ویژه پرهزینه است زیرا هر پیکسل در تصویر نهایی نیازمند محاسبه مسیری است که نور از منبع نور به جسم و دوربین طی می کند.
پیشرفتهای سختافزاری، رندرهای گرافیکی را در دسترس کاربران قرار داده است. به عنوان مثال، بسیاری از آخرین بازی های ویدئویی افکتهای ردیابی پرتو مانند انعکاسهای واقعی عکس و سایهها را تا زمانی که سختافزار آنها در حد کار باشد، اجازه میدهند.
جدیدترین GPUها (واحدهای پردازش گرافیکی) به طور خاص برای کمک به CPU در انجام محاسبات بسیار پیچیده مورد نیاز برای ارائه تصاویر گرافیکی واقعی ساخته شدهاند.
ظهور رندر عصبی
رندر عصبی سعی می کند مشکل رندر را به روشی متفاوت حل کند. به جای استفاده از الگوریتمها برای شبیهسازی نحوه تعامل نور با اجسام، چه میشود اگر مدلی ایجاد کنیم که یاد بگیرد یک منظره از یک زاویه خاص چگونه باید به نظر برسد؟
می توانید آن را به عنوان میانبری برای ایجاد صحنه های فوتورئالیستی در نظر بگیرید. با رندر عصبی، ما نیازی به محاسبه نحوه تعامل نور با یک جسم نداریم، فقط به داده های آموزشی کافی نیاز داریم.
این رویکرد به محققان اجازه می دهد تا بدون نیاز به اجرا، رندرهایی با کیفیت بالا از صحنه های پیچیده ایجاد کنند
میدان های عصبی چیست؟
همانطور که قبلا ذکر شد، اکثر رندرهای سه بعدی از مش های چند ضلعی برای ذخیره داده های شکل و بافت هر شی استفاده می کنند.
با این حال، میدان های عصبی به عنوان یک روش جایگزین برای نمایش اشیاء سه بعدی محبوبیت پیدا می کنند. برخلاف مش های چند ضلعی، میدان های عصبی قابل تمایز و پیوسته هستند.
وقتی می گوییم میدان های عصبی قابل تمایز هستند یعنی چه؟
یک خروجی دوبعدی از یک میدان عصبی را اکنون می توان آموزش داد تا به سادگی با تنظیم وزن شبکه عصبی تبدیل به نور واقعی شود.
با استفاده از میدان های عصبی، دیگر نیازی به شبیه سازی فیزیک نور برای ارائه یک صحنه نداریم. دانش نحوه روشن شدن رندر نهایی اکنون به طور ضمنی در وزن های ما ذخیره می شود شبکه های عصبی.
این به ما امکان میدهد تصاویر و ویدیوهای جدید را نسبتاً سریع از تعداد انگشت شماری عکس یا فیلم ویدیویی ایجاد کنیم.
چگونه یک میدان عصبی را آموزش دهیم؟
اکنون که اصول اولیه نحوه عملکرد یک میدان عصبی را می دانیم، بیایید نگاهی بیندازیم که چگونه محققان می توانند یک میدان تابشی عصبی را آموزش دهند یا NeRF.
ابتدا باید مختصات تصادفی یک صحنه را نمونه برداری کنیم و آنها را به شبکه عصبی وارد کنیم. این شبکه سپس قادر به تولید مقادیر میدانی خواهد بود.
مقادیر میدان تولید شده نمونه هایی از حوزه بازسازی مورد نظر صحنه ای است که می خواهیم ایجاد کنیم.
سپس باید بازسازی را به تصاویر دو بعدی واقعی ترسیم کنیم. سپس یک الگوریتم خطای بازسازی را محاسبه می کند. این خطا شبکه عصبی را برای بهینه سازی توانایی خود در بازسازی صحنه راهنمایی می کند.
کاربردهای رندر عصبی
سنتز دیدگاه رمان
سنتز نمای جدید به وظیفه ایجاد پرسپکتیو دوربین از زوایای جدید با استفاده از دادههای تعداد محدودی از منظرها اشاره دارد.
تکنیکهای رندر عصبی سعی میکنند موقعیت نسبی دوربین را برای هر تصویر در مجموعه داده حدس بزنند و آن دادهها را به یک شبکه عصبی وارد کنند.
سپس شبکه عصبی یک نمایش سه بعدی از صحنه ایجاد می کند که در آن هر نقطه در فضای سه بعدی دارای رنگ و چگالی مرتبط است.
پیاده سازی جدید NeRF ها در نمای خیابان گوگل از ترکیب نمای جدید استفاده میکند تا به کاربران اجازه دهد مکانهای دنیای واقعی را کاوش کنند، گویی دوربینی را کنترل میکنند که فیلم میگیرد. این به گردشگران اجازه می دهد تا قبل از تصمیم گیری برای سفر به یک سایت خاص، مقاصد را به روشی همه جانبه کاوش کنند.
آواتارهای عکس واقع گرایانه
تکنیک های پیشرفته در رندر عصبی نیز می تواند راه را برای آواتارهای دیجیتال واقعی تر هموار کند. این آواتارها سپس میتوانند برای نقشهای مختلف مانند دستیاران مجازی یا خدمات مشتری، یا بهعنوان راهی برای کاربران برای درج شباهت خود در بازی های ویدئویی یا رندر شبیه سازی شده
به عنوان مثال، مقاله منتشر شده در مارس 2023، استفاده از تکنیک های رندر عصبی را برای ایجاد یک آواتار واقع گرایانه پس از چند دقیقه فیلم ویدئویی پیشنهاد می کند.
نتیجه
رندر عصبی یک زمینه مطالعاتی هیجان انگیز است که پتانسیل تغییر کل صنعت گرافیک کامپیوتری را دارد.
این فناوری می تواند مانع ورود برای ایجاد دارایی های سه بعدی را کاهش دهد. ممکن است تیمهای جلوههای بصری دیگر مجبور نباشند روزها منتظر بمانند تا چند دقیقه گرافیک واقعی را ارائه دهند.
ترکیب این فناوری با برنامههای واقعیت مجازی و واقعیت افزوده موجود ممکن است به توسعهدهندگان اجازه دهد تا تجربیات فراگیرتری ایجاد کنند.
به نظر شما پتانسیل واقعی برای رندر عصبی چیست؟
پاسخ دهید