Неуронско приказивање је нова техника у дубоком учењу која има за циљ да допуни класични цевовод компјутерске графике неуронским мрежама.
Алгоритам неуронског рендеровања ће захтевати скуп слика које представљају различите углове исте сцене. Ове слике ће се затим унети у неуронску мрежу да би се направио модел који може да прикаже нове углове исте сцене.
Сјај иза неуронског рендеровања лежи у томе како може прецизно да реконструише детаљне фотореалистичне сцене без потребе да се ослања на класичне методе које могу бити рачунски захтевније.
Пре него што уђемо у то како функционише неуронско приказивање, хајде да пређемо на основе класичног рендеровања.
Шта је класично приказивање?
Хајде да прво разумемо типичне методе које се користе у класичном рендеровању.
Класично приказивање се односи на скуп техника које се користе за креирање 2Д слике тродимензионалне сцене. Такође познато као синтеза слике, класично рендеровање користи различите алгоритме да симулира како светлост реагује са различитим типовима објеката.
На пример, за приказивање чврсте цигле биће потребан одређени скуп алгоритама за одређивање положаја сенке или колико ће бити добро осветљена обе стране зида. Слично томе, објекти који рефлектују или преламају светлост, као што су огледало, сјајни предмет или водено тело, такође ће захтевати сопствене технике.
У класичном приказивању, свако средство је представљено полигонском мрежом. Програм за сенчење ће затим користити полигон као улаз да одреди како ће објекат изгледати с обзиром на наведено осветљење и угао.
Реалистично приказивање ће захтевати много више рачунарске снаге пошто наша средства на крају имају милионе полигона за употребу као улаз. Компјутерски генерисани излаз који је уобичајен у холивудским блокбастерима обично траје недељама или чак месецима да се прикаже и може коштати милионе долара.
Приступ праћења зрака је посебно скуп јер сваки пиксел на коначној слици захтева израчунавање путање светлости од извора светлости до објекта и до камере.
Напредак у хардверу учинио је приказивање графике много приступачнијим за кориснике. На пример, многи од најновијих видео игре омогућавају ефекте праћене зраком као што су фото-реалистичне рефлексије и сенке све док је њихов хардвер на висини задатка.
Најновији ГПУ-ови (јединице за графичку обраду) су направљени посебно да помогну ЦПУ-у да се носи са веома сложеним прорачунима потребним за рендеровање фото-реалистичне графике.
Успон неуронског приказивања
Неурално приказивање покушава да се позабави проблемом приказивања на другачији начин. Уместо да користимо алгоритме за симулацију интеракције светлости са објектима, шта ако смо направили модел који учи како сцена треба да изгледа из одређеног угла?
О томе можете размишљати као о пречици за креирање фотореалистичних сцена. Са неуронским рендеровањем, не морамо да израчунамо како светлост ступа у интеракцију са објектом, потребно нам је само довољно података за обуку.
Овај приступ омогућава истраживачима да креирају висококвалитетне рендере сложених сцена без потребе за извођењем
Шта су неуронска поља?
Као што је раније поменуто, већина 3Д рендера користи полигоне мреже за складиштење података о облику и текстури сваког објекта.
Међутим, неуронска поља постају све популарнија као алтернативни метод представљања тродимензионалних објеката. За разлику од полигонских мрежа, неуронска поља су диференцибилна и континуирана.
Шта мислимо када кажемо да се неуронска поља могу разликовати?
2Д излаз из неуронског поља сада се може обучити да постане фотореалистичан једноставним подешавањем тежине неуронске мреже.
Користећи неуронска поља, више не морамо да симулирамо физику светлости да бисмо приказали сцену. Знање о томе како ће финални рендер бити осветљен сада је имплицитно ускладиштено у нашим тежинама неуронска мрежа.
Ово нам омогућава да правимо нове слике и видео записе релативно брзо од само неколико фотографија или видео снимака.
Како тренирати неуронско поље?
Сада када знамо основе како функционише неуронско поље, хајде да погледамо како су истраживачи у стању да тренирају поље неуронског зрачења или НеРФ.
Прво, мораћемо да узоркујемо насумичне координате сцене и убацимо их у неуронску мрежу. Ова мрежа ће тада моћи да производи количине на терену.
Произведене количине поља сматрају се узорцима из жељеног домена реконструкције сцене коју желимо да креирамо.
Затим ћемо морати да мапирамо реконструкцију на стварне 2Д слике. Алгоритам ће тада израчунати грешку реконструкције. Ова грешка ће водити неуронску мрежу да оптимизује своју способност да реконструише сцену.
Примене неуронског приказивања
Синтеза погледа на роман
Нова синтеза погледа односи се на задатак креирања перспектива камере из нових углова користећи податке из ограниченог броја перспектива.
Технике неуронског рендеровања покушавају да погоде релативну позицију камере за сваку слику у скупу података и унесу те податке у неуронску мрежу.
Неуронска мрежа ће затим креирати 3Д приказ сцене где свака тачка у 3Д простору има придружену боју и густину.
Нова имплементација НеРФ-а у Гоогле Стреет Виев користи нову синтезу приказа како би омогућио корисницима да истражују локације у стварном свету као да контролишу камеру која снима видео. Ово омогућава туристима да истраже дестинације на импресиван начин пре него што одлуче да путују на одређено место.
Фото-реалистични аватари
Напредне технике неуронског приказивања такође могу отворити пут реалистичнијим дигиталним аватарима. Ови аватари се затим могу користити за различите улоге као што су виртуелни асистенти или корисничка служба, или као начин да корисници убаце своју слику у видео игре или симулирани рендер.
На пример, папир објављено у марту 2023. предлаже коришћење техника неуронског рендеровања за креирање фото-реалистичког аватара након неколико минута видео снимка.
Zakljucak
Неуронско приказивање је узбудљиво поље проучавања које има потенцијал да промени целу индустрију компјутерске графике.
Технологија би могла да смањи баријеру уласка за креирање 3Д имовине. Тимови за визуелне ефекте можда више неће морати да чекају данима да би приказали неколико минута фото-реалистичне графике.
Комбиновање технологије са постојећим ВР и АР апликацијама такође може омогућити програмерима да створе импресивнија искуства.
Шта мислите шта је прави потенцијал за неуронско приказивање?
Ostavite komentar