Невронното изобразяване е нововъзникваща техника в дълбокото обучение, която има за цел да разшири класическия тръбопровод на компютърна графика с невронни мрежи.
Алгоритъмът за невронно изобразяване ще изисква набор от изображения, представящи различни ъгли на една и съща сцена. След това тези изображения ще бъдат въведени в невронна мрежа, за да се създаде модел, който може да изведе нови ъгли на същата сцена.
Блясъкът зад невронното изобразяване се крие в това как може точно да пресъздава подробни фотореалистични сцени, без да се налага да разчитате на класически методи, които може да са по-взискателни откъм изчисления.
Преди да се потопим в това как работи невронното изобразяване, нека да разгледаме основите на класическото изобразяване.
Какво е класическо изобразяване?
Нека първо разберем типичните методи, използвани в класическото изобразяване.
Класическото изобразяване се отнася до набор от техники, използвани за създаване на 2D изображение на триизмерна сцена. Известно още като синтез на изображение, класическото изобразяване използва различни алгоритми, за да симулира как светлината взаимодейства с различни типове обекти.
Например изобразяването на плътна тухла ще изисква определен набор от алгоритми за определяне на позицията на сянката или колко добре ще бъде осветена всяка страна на стената. По същия начин обекти, които отразяват или пречупват светлината, като огледало, лъскав предмет или водно тяло, също ще изискват свои собствени техники.
При класическо изобразяване всеки актив е представен с многоъгълна мрежа. След това програма за шейдър ще използва многоъгълника като вход, за да определи как ще изглежда обектът при определеното осветление и ъгъл.
Реалистичното изобразяване ще изисква много повече изчислителна мощност, тъй като нашите активи в крайна сметка имат милиони полигони, които да използват като входни данни. Компютърно генерираният резултат, който е често срещан в холивудските блокбастъри, обикновено отнема седмици или дори месеци за изобразяване и може да струва милиони долари.
Подходът за проследяване на лъчи е особено скъп, защото всеки пиксел в крайното изображение изисква изчисляване на пътя, който светлината изминава от източника на светлина до обекта и до камерата.
Напредъкът в хардуера направи изобразяването на графики много по-достъпно за потребителите. Например много от най-новите видео игри позволяват ефекти с проследяване на лъчи като фотореалистични отражения и сенки, стига техният хардуер да е на висотата.
Най-новите GPU (графични процесори) са създадени специално, за да помогнат на CPU да се справи с изключително сложните изчисления, необходими за изобразяване на фотореалистични графики.
Възходът на невронното изобразяване
Невронното изобразяване се опитва да се справи с проблема с изобразяването по различен начин. Вместо да използваме алгоритми, за да симулираме как светлината взаимодейства с обектите, какво ще стане, ако създадем модел, който научава как една сцена трябва да изглежда от определен ъгъл?
Можете да мислите за това като за пряк път за създаване на фотореалистични сцени. При невронното изобразяване не е необходимо да изчисляваме как светлината взаимодейства с даден обект, просто се нуждаем от достатъчно данни за обучение.
Този подход позволява на изследователите да създават висококачествени рендери на сложни сцени, без да се налага да изпълняват
Какво представляват невронните полета?
Както споменахме по-рано, повечето 3D визуализации използват многоъгълни мрежи за съхраняване на данни за формата и текстурата на всеки обект.
Невронните полета обаче набират популярност като алтернативен метод за представяне на триизмерни обекти. За разлика от полигоналните мрежи, невронните полета са диференцируеми и непрекъснати.
Какво имаме предвид, когато казваме, че невронните полета са диференцируеми?
2D изход от невронно поле вече може да бъде обучен да стане фотореалистичен чрез просто регулиране на теглата на невронната мрежа.
Използвайки невронни полета, вече не е необходимо да симулираме физиката на светлината, за да изобразим сцена. Знанието за това как ще бъде осветено окончателното изобразяване сега се съхранява имплицитно в теглата на нашия невронна мрежа.
Това ни позволява да създаваме нови изображения и видеоклипове относително бързо само от шепа снимки или видеозаписи.
Как да тренираме невронно поле?
Сега, след като знаем основите на това как работи едно невронно поле, нека да разгледаме как изследователите могат да тренират поле на невронно излъчване или NeRF.
Първо, ще трябва да вземем проби от произволните координати на сцена и да ги подадем в невронна мрежа. След това тази мрежа ще може да произвежда полеви количества.
Произведените количества на полето се считат за проби от желаната област на реконструкция на сцената, която искаме да създадем.
След това ще трябва да картографираме реконструкцията към действителни 2D изображения. След това алгоритъм ще изчисли грешката на реконструкцията. Тази грешка ще насочи невронната мрежа да оптимизира способността си да реконструира сцената.
Приложения на невронно изобразяване
Синтез на нов изглед
Синтезът на нов изглед се отнася до задачата за създаване на перспективи на камера от нови ъгли, като се използват данни от ограничен брой перспективи.
Техниките за невронно изобразяване се опитват да отгатнат относителната позиция на камерата за всяко изображение в набора от данни и подават тези данни в невронна мрежа.
След това невронната мрежа ще създаде 3D представяне на сцената, където всяка точка в 3D пространството има асоцииран цвят и плътност.
Ново внедряване на NeRF в Google Street View използва нов синтез на изгледи, за да позволи на потребителите да изследват места от реалния свят, сякаш контролират камера, заснемаща видео. Това позволява на туристите да изследват дестинации по завладяващ начин, преди да решат да пътуват до конкретен обект.
Фотореалистични аватари
Усъвършенстваните техники в невронното изобразяване също могат да проправят пътя за по-реалистични цифрови аватари. След това тези аватари могат да се използват за различни роли, като виртуални асистенти или обслужване на клиенти, или като начин потребителите да вмъкнат своето подобие в видео игра или симулирано рендиране.
Например, хартия публикуван през март 2023 г. предлага използването на техники за невронно изобразяване за създаване на фотореалистичен аватар след няколко минути видеозапис.
Заключение
Невронното изобразяване е вълнуваща област на изследване, която има потенциала да промени цялата индустрия за компютърна графика.
Технологията може да намали бариерата за навлизане в създаването на 3D активи. Екипите за визуални ефекти може вече да не чакат с дни, за да рендират няколко минути фотореалистична графика.
Комбинирането на технологията със съществуващи VR и AR приложения също може да позволи на разработчиците да създадат по-завладяващи изживявания.
Какъв според вас е истинският потенциал за невронно изобразяване?
Оставете коментар