Нейронний рендеринг — нова техніка глибокого навчання, яка спрямована на розширення класичного конвеєра комп’ютерної графіки за допомогою нейронних мереж.
Алгоритм нейронного рендерингу вимагатиме набору зображень, що представляють різні ракурси однієї сцени. Потім ці зображення будуть подані в нейронну мережу для створення моделі, яка може виводити нові ракурси тієї самої сцени.
Блиск нейронної візуалізації полягає в тому, як вона може точно відтворювати детальні фотореалістичні сцени без необхідності покладатися на класичні методи, які можуть бути більш вимогливими до обчислень.
Перш ніж зануритися в те, як працює нейронний рендеринг, давайте розглянемо основи класичного рендерингу.
Що таке класичне рендеринг?
Давайте спочатку розберемося з типовими методами, які використовуються в класичному рендерингу.
Класичний рендеринг відноситься до набору прийомів, які використовуються для створення 2D-зображення тривимірної сцени. Також відомий як синтез зображення, класичний рендеринг використовує різні алгоритми для імітації взаємодії світла з різними типами об’єктів.
Наприклад, візуалізація цільної цегли вимагатиме певного набору алгоритмів для визначення положення тіні або того, наскільки добре буде освітлена будь-яка сторона стіни. Подібним чином об’єкти, які відбивають або заломлюють світло, такі як дзеркало, блискучий предмет або водойма, також потребуватимуть власних технік.
У класичному рендерингу кожен ресурс представлено багатокутною сіткою. Потім програма шейдера використовуватиме багатокутник як вхідні дані, щоб визначити, як виглядатиме об’єкт за заданого освітлення та кута.
Реалістична візуалізація вимагатиме значно більшої обчислювальної потужності, оскільки наші активи мають мільйони багатокутників, які можна використовувати як вхідні дані. Згенерований комп’ютером результат, який часто зустрічається в голлівудських блокбастерах, зазвичай займає тижні або навіть місяці, щоб відобразити його й коштувати мільйони доларів.
Підхід трасування променів є особливо дорогим, оскільки кожен піксель у кінцевому зображенні потребує розрахунку шляху світла від джерела світла до об’єкта та камери.
Удосконалення апаратного забезпечення зробило візуалізацію графіки набагато доступнішою для користувачів. Наприклад, багато останніх відеоігри дозволяють використовувати ефекти трасування променів, такі як фотореалістичні відображення та тіні, за умови, що їх апаратне забезпечення відповідає цьому завданню.
Найновіші графічні процесори (графічні процесори) створені спеціально для того, щоб допомогти ЦП виконувати надскладні обчислення, необхідні для відтворення фотореалістичної графіки.
Розвиток нейронного рендерингу
Нейронний рендеринг намагається вирішити проблему рендерингу іншим способом. Замість того, щоб використовувати алгоритми для моделювання взаємодії світла з об’єктами, що, якби ми створили модель, яка вивчає, як має виглядати сцена під певним кутом?
Ви можете сприймати це як швидкий шлях до створення фотореалістичних сцен. З нейронним рендерингом нам не потрібно обчислювати, як світло взаємодіє з об’єктом, нам просто потрібна достатня кількість тренувальних даних.
Такий підхід дозволяє дослідникам створювати високоякісні рендери складних сцен без виконання
Що таке нейронні поля?
Як згадувалося раніше, більшість 3D-рендерів використовують багатокутні сітки для зберігання даних про форму та текстуру кожного об’єкта.
Проте нейронні поля набувають популярності як альтернативний метод представлення тривимірних об’єктів. На відміну від полігональних сіток, нейронні поля є диференційованими та безперервними.
Що ми маємо на увазі, коли говоримо, що нейронні поля диференційовані?
2D-вихід із нейронного поля тепер можна навчити, щоб він став фотореалістичним, просто налаштувавши ваги нейронної мережі.
Використовуючи нейронні поля, нам більше не потрібно симулювати фізику світла для відтворення сцени. Знання про те, як буде освітлено остаточний рендер, тепер неявно зберігаються у вагових коефіцієнтах нашого нейронної мережі.
Це дозволяє нам відносно швидко створювати нові зображення та відео лише з кількох фотографій чи відеозаписів.
Як тренувати нейронне поле?
Тепер, коли ми знаємо основи роботи нейронного поля, давайте подивимося, як дослідники можуть тренувати нейронне поле випромінювання або NeRF.
По-перше, нам потрібно буде відібрати випадкові координати сцени та передати їх у нейронну мережу. Тоді ця мережа зможе виробляти польові кількості.
Вироблені кількості полів вважаються зразками з бажаної області реконструкції сцени, яку ми хочемо створити.
Потім нам потрібно буде зіставити реконструкцію з фактичними двовимірними зображеннями. Потім алгоритм розрахує похибку реконструкції. Ця помилка допоможе нейронній мережі оптимізувати свою здатність реконструювати сцену.
Застосування нейронної візуалізації
Синтез роману
Синтез нових ракурсів стосується завдання створення перспектив камери з нових ракурсів, використовуючи дані з обмеженої кількості ракурсів.
Методи нейронної візуалізації намагаються вгадати відносне положення камери для кожного зображення в наборі даних і передавати ці дані в нейронну мережу.
Потім нейронна мережа створить тривимірне представлення сцени, де кожна точка в тривимірному просторі має відповідний колір і щільність.
Нова реалізація NeRF в Google Street View використовує новий синтез зображень, щоб дозволити користувачам досліджувати місця реального світу, ніби вони керують камерою, яка знімає відео. Це дозволяє туристам досліджувати напрямки захоплюючим способом, перш ніж прийняти рішення про подорож до певного місця.
Фотореалістичні аватари
Передові методи нейронної візуалізації також можуть прокласти шлях до більш реалістичних цифрових аватарів. Потім ці аватари можна використовувати для різних ролей, наприклад віртуальних помічників або служби підтримки клієнтів, або як спосіб для користувачів вставляти свою схожість у відеогра або імітований рендер.
Na przykład,,en папір опублікований у березні 2023 року, пропонує використовувати методи нейронної візуалізації для створення фотореалістичного аватара після кількох хвилин відеозапису.
Висновок
Нейронний рендеринг — це захоплююче поле дослідження, яке може змінити всю індустрію комп’ютерної графіки.
Технологія може знизити бар’єр для створення 3D-активів. Командам із візуальних ефектів більше не доведеться чекати днями, щоб відтворити кілька хвилин фотореалістичної графіки.
Поєднання технології з існуючими додатками VR і AR також може дозволити розробникам створити більш захоплюючий досвід.
Який, на вашу думку, справжній потенціал для нейронного рендерингу?
залишити коментар