Нейронный рендеринг — это новый метод глубокого обучения, цель которого — дополнить классический конвейер компьютерной графики нейронными сетями.
Алгоритму нейронного рендеринга потребуется набор изображений, представляющих разные ракурсы одной и той же сцены. Затем эти изображения будут переданы в нейронную сеть для создания модели, которая может выводить новые ракурсы той же сцены.
Великолепие нейронного рендеринга заключается в том, как он может точно воссоздавать детализированные фотореалистичные сцены, не полагаясь на классические методы, которые могут требовать больших вычислительных ресурсов.
Прежде чем углубиться в то, как работает нейронный рендеринг, давайте рассмотрим основы классического рендеринга.
Что такое классический рендеринг?
Давайте сначала разберемся с типичными методами, используемыми в классическом рендеринге.
Классический рендеринг относится к набору методов, используемых для создания 2D-изображения трехмерной сцены. Также известный как синтез изображения, классический рендеринг использует различные алгоритмы для имитации того, как свет взаимодействует с различными типами объектов.
Например, для рендеринга цельного кирпича потребуется определенный набор алгоритмов для определения положения тени или того, насколько хорошо будет освещена любая сторона стены. Точно так же объекты, отражающие или преломляющие свет, такие как зеркало, блестящий объект или водоем, также потребуют своих собственных методов.
В классическом рендеринге каждый ассет представлен полигональной сеткой. Затем шейдерная программа будет использовать многоугольник в качестве входных данных, чтобы определить, как будет выглядеть объект при заданном освещении и угле.
Реалистичный рендеринг потребует гораздо большей вычислительной мощности, так как наши активы в конечном итоге имеют миллионы полигонов для использования в качестве входных данных. Компьютерный вывод, который часто используется в голливудских блокбастерах, обычно занимает недели или даже месяцы для рендеринга и может стоить миллионы долларов.
Подход с трассировкой лучей является особенно дорогостоящим, поскольку для каждого пикселя в конечном изображении требуется расчет пути, который проходит свет от источника света к объекту и к камере.
Достижения в области аппаратного обеспечения сделали визуализацию графики более доступной для пользователей. Например, многие из последних видеоигры разрешить эффекты трассировки лучей, такие как фотореалистичные отражения и тени, если их аппаратное обеспечение соответствует поставленной задаче.
Новейшие графические процессоры (графические процессоры) созданы специально для того, чтобы помочь центральному процессору выполнять очень сложные вычисления, необходимые для рендеринга фотореалистичной графики.
Расцвет нейронного рендеринга
Нейронный рендеринг пытается решить проблему рендеринга по-другому. Вместо того, чтобы использовать алгоритмы для моделирования взаимодействия света с объектами, что, если мы создадим модель, которая изучает, как сцена должна выглядеть под определенным углом?
Вы можете думать об этом как о ярлыке для создания фотореалистичных сцен. При нейронном рендеринге нам не нужно вычислять, как свет взаимодействует с объектом, нам просто нужно достаточно обучающих данных.
Этот подход позволяет исследователям создавать высококачественные рендеры сложных сцен без необходимости выполнять
Что такое нейронные поля?
Как упоминалось ранее, в большинстве 3D-рендеров для хранения данных о форме и текстуре каждого объекта используются полигональные сетки.
Однако нейронные поля набирают популярность как альтернативный метод представления трехмерных объектов. В отличие от полигональных сеток нейронные поля дифференцируемы и непрерывны.
Что мы имеем в виду, когда говорим, что нейронные поля дифференцируемы?
2D-выход из нейронного поля теперь можно обучить, чтобы он стал фотореалистичным, просто отрегулировав веса нейронной сети.
Используя нейронные поля, нам больше не нужно моделировать физику света для визуализации сцены. Информация о том, как будет освещен окончательный рендер, теперь неявно хранится внутри весов наших нейронной сети.
Это позволяет нам относительно быстро создавать новые изображения и видео всего из нескольких фотографий или видеозаписей.
Как тренировать нейронное поле?
Теперь, когда мы знаем основы работы нейронного поля, давайте посмотрим, как исследователи могут тренировать поле нейронного излучения или НеРФ.
Во-первых, нам нужно выбрать случайные координаты сцены и передать их в нейронную сеть. Затем эта сеть сможет производить полевые количества.
Производимые величины поля считаются выборками из желаемой области реконструкции сцены, которую мы хотим создать.
Затем нам нужно сопоставить реконструкцию с реальными 2D-изображениями. Затем алгоритм рассчитает ошибку реконструкции. Эта ошибка заставит нейронную сеть оптимизировать свою способность реконструировать сцену.
Приложения нейронного рендеринга
Синтез нового взгляда
Синтез нового ракурса относится к задаче создания ракурсов камеры с новых ракурсов с использованием данных из ограниченного числа ракурсов.
Методы нейронного рендеринга пытаются угадать относительное положение камеры для каждого изображения в наборе данных и передать эти данные в нейронную сеть.
Затем нейронная сеть создаст трехмерное представление сцены, где каждая точка в трехмерном пространстве имеет соответствующий цвет и плотность.
Новая реализация NeRF в Google Street View использует новый синтез изображений, чтобы позволить пользователям исследовать места реального мира, как если бы они управляли камерой, снимающей видео. Это позволяет туристам исследовать места назначения захватывающим образом, прежде чем принять решение о поездке в конкретное место.
Фотореалистичные аватары
Передовые методы нейронного рендеринга также могут проложить путь к более реалистичным цифровым аватарам. Затем эти аватары можно использовать для различных ролей, таких как виртуальные помощники или службы поддержки клиентов, или как способ для пользователей вставлять свое изображение в видеоигра или смоделированный рендер.
Например, бумаги опубликованный в марте 2023 года, предлагает использовать методы нейронного рендеринга для создания фотореалистичного аватара после нескольких минут видеозаписи.
Заключение
Нейронный рендеринг — захватывающая область исследований, которая может изменить всю индустрию компьютерной графики.
Эта технология может снизить входной барьер для создания 3D-ресурсов. Команде визуальных эффектов больше не придется ждать несколько дней, чтобы отрендерить несколько минут фотореалистичной графики.
Сочетание технологии с существующими приложениями виртуальной и дополненной реальности также может позволить разработчикам создавать более захватывающий опыт.
Как вы думаете, каков истинный потенциал нейронного рендеринга?
Оставьте комментарий