Съдържание[Крия][Покажи]
Хей, знаете ли, че 3D сцена може да бъде създадена от 2D входни данни за секунди с модела за невронно изобразяване Instant NeRF на NVIDIA, а снимките на тази сцена могат да бъдат изобразени за милисекунди?
Възможно е бързо да конвертирате колекция от неподвижни снимки в цифрова 3D среда, като използвате техниката, известна като обратно изобразяване, която позволява на AI да имитира как работи светлината в реалния свят.
Това е един от първите модели по рода си, който може да комбинира ултра-бързо обучение на невронни мрежи и бързо изобразяване, благодарение на техника, разработена от изследователския екип на NVIDIA, която завършва операцията невероятно бързо – почти мигновено.
Тази статия ще разгледа в дълбочина NeRF на NVIDIA, включително неговата скорост, случаи на използване и други фактори.
И така, какво е NeRF?
NeRF означава полета на невронно излъчване, което се отнася до техника за създаване на уникални изгледи на сложни сцени чрез усъвършенстване на основна непрекъсната обемна функция на сцена с помощта на малък брой входни изгледи.
Когато се даде колекция от 2D снимки като вход, NeRF на NVIDIA използват невронни мрежи за представяне и генериране на 3D сцени.
Необходими са малко на брой снимки от различни ъгли в района невронна мрежа, заедно с местоположението на камерата във всеки кадър.
Колкото по-рано се направят тези снимки, толкова по-добре, особено в сцени с движещи се актьори или обекти.
Генерираната от AI 3D сцена ще бъде размазана, ако има твърде много движение по време на процедурата за заснемане на 2D картина.
Чрез прогнозиране на цвета на светлината, излъчвана във всяка посока от всяко място в 3D средата, NeRF ефективно запълва празнините, оставени от тези данни, за да изгради цялото изображение.
Тъй като NeRF може да генерира 3D сцена за няколко милисекунди след получаване на правилните входове, това е най-бързият NeRF подход до момента.
NeRF работи толкова бързо, че е почти мигновено, откъдето идва и името му. Ако стандартните 3D представяния като многоъгълни мрежи са векторни изображения, NeRF са растерни изображения: те улавят плътно начина, по който светлината излиза от обект или вътре в сцена.
Моментален NeRF е от съществено значение за 3D, както цифровите фотоапарати и JPEG компресията са били за 2D фотография, драматично подобрявайки скоростта, удобството и обхвата на 3D заснемане и споделяне.
Instant NeRF може да се използва за създаване на аватари или дори цели сцени за виртуални светове.
За да отдаде почит на първите дни на снимките на Polaroid, изследователският екип на NVIDIA пресъздаде известен кадър на Анди Уорхол, който прави мигновена снимка, и я преобразува в 3D сцена с помощта на Instant NeRF.
Наистина ли е 1,000 пъти по-бърз?
Създаването на 3D сцена може да отнеме часове преди NeRF, в зависимост от нейната сложност и качество.
AI значително ускори процеса, но все пак може да отнеме часове за правилно обучение. Използвайки метод, наречен хеш кодиране с множество разделителни способности, въведен от NVIDIA, Instant NeRF намалява времето за рендиране с фактор 1,000.
За създаването на модела са използвани пакетът Tiny CUDA Neural Networks и NVIDIA CUDA Toolkit. Според NVIDIA, тъй като това е лека невронна мрежа, тя може да бъде обучена и използвана на един NVIDIA GPU, с NVIDIA Tensor Core карти, работещи на най-бързите скорости.
Използвайте делото
Самоуправляващите се автомобили са едно от най-значимите приложения на тази технология. Тези превозни средства до голяма степен работят, като си представят заобикалящата ги среда, докато се движат.
Проблемът с днешната технология обаче е, че е тромава и отнема твърде много време.
Въпреки това, използвайки Instant NeRF, всичко, което е необходимо на самоуправляващата се кола, за да приближи/разбере размера и формата на обекти от реалния свят, е да заснеме неподвижни снимки, да ги превърне в 3D и след това да използва тази информация.
Все още може да има друга употреба в метавселената или видео игра производствени индустрии.
Тъй като Instant NeRF ви позволява бързо да създавате аватари или дори цели виртуални светове, това е вярно.
Почти малко 3D герой ще е необходимо моделиране, защото всичко, което трябва да направите, е да стартирате невронната мрежа и тя ще генерира символ за вас.
В допълнение, NVIDIA все още проучва прилагането на тази технология за допълнителни приложения, свързани с машинно обучение.
Например, може да се използва за превод на езици по-точно от преди и за подобряване на общото предназначение дълбоко учене алгоритми, които сега се използват за по-широк кръг от задачи.
Заключение
Много графични проблеми разчитат на специфични за задачите структури от данни, за да се възползват от гладкостта или разредността на проблема.
Практическата алтернатива, базирана на учене, предлагана от хеш кодирането с множество разделителни способности на NVIDIA, автоматично се концентрира върху подходящи детайли, независимо от работното натоварване.
За да научите повече за това как работят нещата вътре, проверете официалния GitHub хранилище.
Оставете коментар