Змест[Схаваць][Паказаць]
Гэй, ці ведаеце вы, што 3D-сцэна можа быць створана з 2D-дадзеных за лічаныя секунды з дапамогай мадэлі NVIDIA Instant NeRF нейронавага рэндэрынгу, а фатаграфіі гэтай сцэны могуць быць адлюстраваны за мілісекунды?
Можна хутка пераўтварыць калекцыю нерухомых фатаграфій у лічбавае 3D-асяроддзе, выкарыстоўваючы тэхніку, вядомую як зваротны рэндэрынг, якая дазваляе штучнаму інтэлекту імітаваць тое, як святло працуе ў рэальным свеце.
Гэта адна з першых мадэляў у сваім родзе, якая можа спалучаць звышхуткае навучанне нейронавай сеткі і хуткі рэндэрынг, дзякуючы тэхніцы, распрацаванай даследчай групай NVIDIA, якая завяршае аперацыю неверагодна хутка - амаль імгненна.
У гэтым артыкуле падрабязна разглядаецца NeRF ад NVIDIA, уключаючы яго хуткасць, варыянты выкарыстання і іншыя фактары.
Такім чынам, што ёсць НеРФ?
NeRF расшыфроўваецца як нейронавыя палі ззяння, што адносіцца да тэхнікі для стварэння унікальных відаў складаных сцэн шляхам удакладнення асноўнай бесперапыннай аб'ёмнай функцыі сцэны з выкарыстаннем невялікай колькасці ўваходных відаў.
Калі ў якасці ўваходных дадзеных даецца калекцыя 2D-фатаграфій, NeRF ад NVIDIA выкарыстоўваюць нейронавыя сеткі прадстаўляць і ствараць 3D-сцэны.
Для гэтага патрэбна невялікая колькасць фатаграфій з розных ракурсаў ваколіцы нейронных сеткі, разам з размяшчэннем камеры ў кожным кадры.
Чым раней будуць зроблены гэтыя здымкі, тым лепш, асабліва ў сцэнах з рухомымі акцёрамі або аб'ектамі.
Згенераваная штучным інтэлектам 3D-сцэна будзе размазана, калі падчас працэдуры захопу 2D-малюнка будзе занадта шмат руху.
Прагназуючы колер святла, які зыходзіць ва ўсіх накірунках з любога месца ў 3D-асяроддзі, NeRF эфектыўна запаўняе прабелы, пакінутыя гэтымі дадзенымі, каб пабудаваць усю выяву.
Паколькі NeRF можа стварыць 3D-сцэну за пару мілісекунд пасля атрымання адпаведных уводаў, гэта самы хуткі падыход NeRF на сённяшні дзень.
NeRF працуе так хутка, што практычна імгненна, адсюль і яго назва. Калі стандартныя 3D-рэпрэзентацыі, такія як шматкутныя сеткі, з'яўляюцца вектарнымі выявамі, NeRF - гэта растравыя выявы: яны шчыльна фіксуюць тое, як святло зыходзіць ад аб'екта або ўнутры сцэны.
Імгненная НеРФ мае важнае значэнне для 3D, як лічбавыя камеры і сціск JPEG былі для 2D-фатаграфіі, значна павялічваючы хуткасць, зручнасць і дасяжнасць 3D-захопу і сумеснага выкарыстання.
Імгненны NeRF можна выкарыстоўваць для стварэння аватараў або нават цэлых дэкарацый для віртуальных светаў.
У знак павагі да першых дзён фатаграфій Polaroid даследчая група NVIDIA аднавіла знакаміты здымак Эндзі Уорхала, які робіць імгненнае фота, і пераўтварыла яго ў 3D-сцэну з дапамогай Instant NeRF.
Гэта сапраўды ў 1,000 разоў хутчэй?
На стварэнне 3D-сцэны перад NeRF могуць спатрэбіцца гадзіны, у залежнасці ад яе складанасці і якасці.
Штучны інтэлект значна паскорыў працэс, але на правільнае навучанне ўсё роўна могуць спатрэбіцца гадзіны. Выкарыстоўваючы метад, які называецца хэш-кадаванне з некалькімі раздзяленнямі, упершыню распрацаваны NVIDIA, Instant NeRF скарачае час візуалізацыі ў 1,000 разоў.
Для стварэння мадэлі выкарыстоўваўся пакет Tiny CUDA Neural Networks і NVIDIA CUDA Toolkit. Па словах NVIDIA, паколькі гэта лёгкая нейронавая сетка, яе можна навучыць і выкарыстоўваць на адным графічным працэсары NVIDIA з картамі NVIDIA Tensor Core, якія працуюць на самых высокіх хуткасцях.
Use Case
Самастойныя аўтамабілі - адно з найбольш значных прымянення гэтай тэхналогіі. Гэтыя транспартныя сродкі ў асноўным працуюць, уяўляючы навакольнае асяроддзе.
Аднак праблема сучасных тэхналогій у тым, што яны нязграбныя і займаюць занадта шмат часу.
Аднак пры выкарыстанні Instant NeRF усё, што патрабуецца ад самакіравальнага аўтамабіля, каб наблізіць/разумець памер і форму аб'ектаў рэальнага свету, - гэта зрабіць фотаздымкі, ператварыць іх у 3D і затым выкарыстоўваць гэтую інфармацыю.
Яшчэ можа быць іншае выкарыстанне ў метасусвету або відэагульня вытворчыя галіны.
Паколькі Instant NeRF дазваляе хутка ствараць аватары ці нават цэлыя віртуальныя светы, гэта праўда.
Амаль мала 3D-персанаж мадэляванне спатрэбіцца, таму што ўсё, што вам трэба будзе зрабіць, гэта запусціць нейронавую сетку, і яна згенеруе для вас персанажа.
Акрамя таго, NVIDIA ўсё яшчэ вывучае прымяненне гэтай тэхналогіі для дадатковых прыкладанняў, звязаных з машынным навучаннем.
Напрыклад, ён можа быць выкарыстаны для больш дакладнага перакладу моў, чым раней, і паляпшэння агульнага прызначэння глыбокае вывучэнне алгарытмы, якія цяпер выкарыстоўваюцца для больш шырокага кола задач.
заключэнне
Многія праблемы з графікай абапіраюцца на спецыфічныя для задач структуры даных, каб выкарыстоўваць гладкасць або разрэджанасць праблемы.
Практычная альтэрнатыва, заснаваная на навучанні, прапанаваная хэш-кадаваннем NVIDIA з некалькімі раздзяленнямі, аўтаматычна канцэнтруецца на адпаведных дэталях, незалежна ад працоўнай нагрузкі.
Каб даведацца больш пра тое, як усё працуе ўнутры, праверце афіцыйны сайт GitHub рэпазітар.
Пакінуць каментар