Преглед садржаја[Сакрити][Прикажи]
Хеј, да ли сте знали да се 3Д сцена може креирати од 2Д уноса података за неколико секунди помоћу НВИДИА-иног Инстант НеРФ неуронског модела рендеровања, а фотографије те сцене могу да се рендерују за милисекунде?
Могуће је брзо претворити колекцију фотографија у дигитално 3Д окружење користећи технику познату као инверзно рендеровање, што омогућава вештачкој интелигенцији да опонаша како светлост функционише у стварном свету.
То је један од првих модела те врсте који може да комбинује ултрабрзу обуку неуронске мреже и брзо рендеровање, захваљујући техници коју је осмислио НВИДИА-ин истраживачки тим и која завршава операцију невероватно брзо – скоро тренутно.
Овај чланак ће детаљно испитати НВИДИА-ин НеРФ, укључујући његову брзину, случајеве употребе и друге факторе.
Па, шта је НеРФ?
НеРФ је скраћеница за поља неуронског зрачења, што се односи на технику за креирање јединствених погледа на компликоване сцене пречишћавањем основне континуиране волуметријске функције сцене користећи мали број улазних приказа.
Када се добије колекција 2Д фотографија као улаз, НВИДИА-ини НеРФ-ови користе неуронске мреже за представљање и генерисање 3Д сцена.
За то је потребан мали број фотографија из различитих углова широм области неуронска мрежа, заједно са локацијом камере у сваком кадру.
Што се пре направе ове слике, то боље, посебно у сценама са покретним глумцима или објектима.
3Д сцена генерисана вештачком интелигенцијом биће замрљана ако буде превише покрета током поступка снимања 2Д слике.
Предвиђањем боје светлости која емитује у сваком правцу са било које локације у 3Д окружењу, НеРФ ефикасно попуњава празнине које остављају ови подаци да би се конструисала целокупна слика.
Пошто НеРФ може да генерише 3Д сцену за неколико милисекунди након добијања одговарајућих улаза, то је најбржи НеРФ приступ до сада.
НеРФ ради тако брзо да је практично тренутно, отуда и његово име. Ако су стандардне 3Д репрезентације попут полигоналних мрежа векторске слике, НеРФ-ови су битмап слике: они густо хватају начин на који светлост излази из објекта или унутар сцене.
Инстант НеРФ је од суштинског значаја за 3Д као што су дигиталне камере и ЈПЕГ компресија били за 2Д фотографију, драматично повећавајући брзину, удобност и досег 3Д снимања и дељења.
Инстант НеРФ се може користити за производњу аватара или чак читавих пејзажа за виртуелне светове.
Да би одао почаст раним данима Полароид фотографија, НВИДИА истраживачки тим је поново направио чувени снимак Ендија Ворхола који прави тренутну фотографију и конвертује је у 3Д сцену користећи Инстант НеРФ.
Да ли је заиста 1,000 пута брже?
За креирање 3Д сцене може бити потребно неколико сати пре НеРФ-а, у зависности од њене сложености и квалитета.
АИ је увелико убрзао процес, али би и даље могли потрајати сати да се правилно обуче. Користећи метод који се зове хеш кодирање у више резолуција, који је пионир НВИДИА, Инстант НеРФ смањује време рендеровања за фактор од 1,000.
За креирање модела коришћени су пакет Тини ЦУДА Неурал Нетворкс и НВИДИА ЦУДА Тоолкит. Према НВИДИА-и, пошто је то лагана неуронска мрежа, може се обучити и користити на једном НВИДИА ГПУ-у, са НВИДИА Тенсор Цоре картицама које раде при најбржим брзинама.
Користите случај
Самовозећи аутомобили су једна од најзначајнијих примена ове технологије. Ова возила углавном раде тако што замишљају своје окружење док иду.
Међутим, проблем са данашњом технологијом је у томе што је неспретна и што предуго траје.
Међутим, коришћењем Инстант НеРФ-а, све што је потребно да ауто који самостално вози да би приближио/разумео величину и облик објеката из стварног света је да сними фотографије, претвори их у 3Д, а затим користи те информације.
У метаверзуму би још могла постојати друга употреба или видео игре производне индустрије.
Пошто Инстант НеРФ вам омогућава да брзо направите аватаре или чак читаве виртуелне светове, то је тачно.
Скоро мало 3Д лик моделирање би било потребно јер све што треба да урадите је да покренете неуронску мрежу и она ће генерисати карактер за вас.
Поред тога, НВИДИА још увек истражује примену ове технологије за додатне апликације везане за машинско учење.
На пример, може се користити за превођење језика прецизније него раније и за побољшање опште намене дубоко учење алгоритми који се сада користе за шири спектар задатака.
Zakljucak
Многи графички проблеми се ослањају на структуре података специфичних за задатак да би искористили глаткоћу или реткост проблема.
Алтернатива заснована на практичном учењу коју нуди НВИДИА-ино хеш кодирање у више резолуција аутоматски се концентрише на релевантне детаље, без обзира на оптерећење.
Да бисте сазнали више о томе како ствари функционишу унутра, погледајте званичника ГитХуб спремиште.
Ostavite komentar