Невралното рендерирање е нова техника во длабокото учење која има за цел да го зголеми класичниот цевковод на компјутерска графика со невронски мрежи.
Алгоритам за невронско прикажување ќе бара збир на слики што претставуваат различни агли на истата сцена. Овие слики потоа ќе бидат внесени во невронска мрежа за да се создаде модел кој може да емитува нови агли на истата сцена.
Сјајот зад невронското прикажување лежи во тоа како може прецизно да рекреира детални фотореалистични сцени без да мора да се потпира на класични методи кои може да бидат пресметковни потешки.
Пред да нурнеме во тоа како функционира невронското рендерирање, ајде да ги разгледаме основите на класичното рендерирање.
Што е класично рендерирање?
Ајде прво да ги разбереме типичните методи што се користат во класичното рендерирање.
Класичното рендерирање се однесува на збир на техники што се користат за создавање 2D слика на тродимензионална сцена. Исто така познато како синтеза на слики, класичното рендерирање користи различни алгоритми за да симулира како светлината комуницира со различни типови на објекти.
На пример, за изведба на цврста тула ќе биде потребен одреден сет на алгоритми за да се одреди позицијата на сенката или колку добро ќе биде осветлена која било страна од ѕидот. Слично на тоа, предметите што ја рефлектираат или прекршуваат светлината, како што се огледало, сјаен предмет или водно тело, ќе бараат и свои техники.
Во класичното прикажување, секое средство е претставено со полигонска мрежа. Програма за засенчување потоа ќе го користи полигонот како влез за да одреди како ќе изгледа објектот со оглед на наведеното осветлување и агол.
Реалното прикажување ќе бара многу поголема пресметковна моќ, бидејќи нашите средства завршуваат со милиони полигони за користење како влез. Компјутерски генерираниот резултат што е вообичаен во холивудските блокбастери обично трае со недели или дури месеци за да се изведе и може да чини милиони долари.
Пристапот за следење зраци е особено скап бидејќи секој пиксел на конечната слика бара пресметка на патеката што светлината ја поминува од изворот на светлина до објектот и до камерата.
Напредокот во хардверот го направи графичкото прикажување многу подостапно за корисниците. На пример, многу од најновите видео игри дозволуваат ефекти проследени со зраци како што се фотореалистични рефлексии и сенки се додека нивниот хардвер е во висина на задачата.
Најновите графички процесори (единици за графичка обработка) се специјално изградени за да му помогнат на процесорот да се справи со многу сложените пресметки потребни за прикажување на фото-реалистична графика.
Подемот на невронското рендерирање
Невралното рендерирање се обидува да го реши проблемот со рендерирање на поинаков начин. Наместо да користиме алгоритми за да симулираме како светлината комуницира со предметите, што ако создадеме модел кој учи како сцената треба да изгледа од одреден агол?
Можете да го замислите како кратенка за создавање фотореалистички сцени. Со невронско прикажување, не треба да пресметуваме како светлината комуницира со некој објект, туку само ни требаат доволно податоци за обука.
Овој пристап им овозможува на истражувачите да создаваат висококвалитетни рендери на сложени сцени без да мора да изведуваат
Што се невронски полиња?
Како што споменавме порано, повеќето 3D рендери користат полигонски мрежи за складирање на податоци за обликот и текстурата на секој објект.
Сепак, нервните полиња добиваат на популарност како алтернативен метод за претставување на тридимензионални објекти. За разлика од полигонските мрежи, нервните полиња се диференцијабилни и континуирани.
Што мислиме кога велиме дека нервните полиња се диференцијабилни?
2D излез од невронско поле сега може да се обучи да стане фотореалистичен со едноставно прилагодување на тежините на невронската мрежа.
Користејќи ги нервните полиња, повеќе не треба да ја симулираме физиката на светлината за да прикажеме сцена. Знаењето за тоа како ќе биде осветлен конечниот рендер сега е имплицитно складиран во тежините на нашите невронска мрежа.
Ова ни овозможува релативно брзо да создаваме нови слики и видеа од само неколку фотографии или видео снимки.
Како да тренирате невронско поле?
Сега кога ги знаеме основите за тоа како функционира нервното поле, ајде да погледнеме како истражувачите можат да обучат поле на нервно зрачење или NeRF.
Прво, ќе треба да земеме примерок од случајните координати на сцената и да ги внесеме во невронска мрежа. Оваа мрежа потоа ќе може да произведува теренски количини.
Произведените теренски количини се сметаат за примероци од саканиот домен за реконструкција на сцената што сакаме да ја создадеме.
Потоа ќе треба да ја мапираме реконструкцијата на вистински 2D слики. Алгоритам потоа ќе ја пресмета грешката во реконструкцијата. Оваа грешка ќе ја води невронската мрежа да ја оптимизира нејзината способност да ја реконструира сцената.
Апликации на невронско рендерирање
Синтеза на поглед на романот
Синтезата на нов поглед се однесува на задачата за создавање перспективи на камерата од нови агли користејќи податоци од ограничен број перспективи.
Техниките на невронско рендерирање се обидуваат да ја погодат релативната позиција на камерата за секоја слика во базата на податоци и да ги внесат тие податоци во невронска мрежа.
Невронската мрежа потоа ќе создаде 3D претстава на сцената каде што секоја точка во 3D просторот има поврзана боја и густина.
Нова имплементација на NeRFs во Google Street View користи нова синтеза на приказ за да им овозможи на корисниците да истражуваат локации во реалниот свет како да контролираат камера што снима видео. Ова им овозможува на туристите да истражуваат дестинации на извонреден начин пред да одлучат да патуваат на одредена локација.
Фото-реалистични аватари
Напредните техники во невронското рендерирање исто така може да го отворат патот за пореални дигитални аватари. Овие аватари потоа може да се користат за различни улоги, како што се виртуелни асистенти или услуги за клиенти, или како начин за корисниците да ја вметнат својата сличност во видео игри или симулиран рендер.
На пример, хартија објавено во март 2023 година сугерира користење на техники на невронско рендерирање за да се создаде фотореалистичен аватар по неколку минути видео снимка.
Заклучок
Невралното рендерирање е возбудливо поле на студии кое има потенцијал да ја промени целата индустрија за компјутерска графика.
Технологијата може да ја намали бариерата за влез за создавање 3D средства. Тимовите за визуелни ефекти можеби нема повеќе да чекаат со денови за да направат неколку минути фото-реалистична графика.
Комбинирањето на технологијата со постојните VR и AR апликации може да им овозможи на програмерите да создадат поизвонредни искуства.
Што мислите, кој е вистинскиот потенцијал за невронско прикажување?
Оставете Одговор