Зміст[Сховати][Показати]
Привіт, чи знаєте ви, що 3D-сцену можна створити з введених 2D-даних за лічені секунди за допомогою моделі нейронної візуалізації NVIDIA Instant NeRF, а фотографії цієї сцени можна відобразити за мілісекунди?
Можна швидко перетворити колекцію нерухомих фотографій у цифрове 3D-середовище за допомогою техніки, відомої як інверсна візуалізація, яка дозволяє штучному інтелекту імітувати, як працює світло в реальному світі.
Це одна з перших моделей у своєму роді, яка може поєднувати надшвидке навчання нейронної мережі та швидкий рендеринг завдяки техніці, розробленій дослідницькою групою NVIDIA, яка неймовірно швидко виконує операцію – майже миттєво.
У цій статті детально розглядається NeRF від NVIDIA, включаючи його швидкість, варіанти використання та інші фактори.
Отже, що є NeRF?
NeRF означає поля нейронного випромінювання, що стосується техніки створення унікальних зображень складних сцен шляхом уточнення основної безперервної об’ємної функції сцени з використанням невеликої кількості вхідних зображень.
Коли в якості вхідних даних надається колекція 2D-фото, NeRF NVIDIA використовує нейронні мережі для представлення та створення 3D-сцен.
Для цього потрібна невелика кількість фотографій місцевості з різних ракурсів нейронної мережіразом із розташуванням камери в кожному кадрі.
Чим швидше будуть зроблені ці знімки, тим краще, особливо в сценах з рухомими акторами або об’єктами.
Згенерована ШІ 3D-сцена буде розмазана, якщо під час процедури захоплення 2D-зображення буде занадто багато руху.
Передбачаючи колір світла, що виходить у будь-якому напрямку з будь-якого місця в 3D-середовищі, NeRF ефективно заповнює прогалини, залишені цими даними, для створення повного зображення.
Оскільки NeRF може створити 3D-сцену за пару мілісекунд після отримання відповідних вхідних даних, це найшвидший підхід NeRF на сьогодні.
NeRF працює настільки швидко, що практично миттєво, звідси і його назва. Якщо стандартні тривимірні представлення, такі як полігональні сітки, є векторними зображеннями, NeRF є растровими зображеннями: вони щільно захоплюють те, як світло виходить від об’єкта або всередині сцени.
Миттєвий НеРФ має важливе значення для 3D, як цифрові камери та стиснення JPEG були для 2D-фотографії, значно підвищуючи швидкість, зручність і охоплення 3D-зйомки та обміну.
Instant NeRF можна використовувати для створення аватарів або навіть цілих декорацій для віртуальних світів.
Щоб віддати належне першим дням фотографій Polaroid, дослідницька команда NVIDIA відтворила відомий знімок Енді Ворхола, який миттєво робить фотографію, і перетворила його на 3D-сцену за допомогою Instant NeRF.
Це справді в 1,000 разів швидше?
Створення 3D-сцени може зайняти години перед NeRF, залежно від її складності та якості.
Штучний інтелект значно прискорив процес, але на належне навчання все одно можуть знадобитися години. Використовуючи метод хеш-кодування з різною роздільною здатністю, запроваджений NVIDIA, Instant NeRF скорочує час рендерингу в 1,000 разів.
Для створення моделі використовувався пакет Tiny CUDA Neural Networks і NVIDIA CUDA Toolkit. За словами NVIDIA, оскільки це легка нейронна мережа, її можна навчити та використовувати на одному графічному процесорі NVIDIA, а карти NVIDIA Tensor Core працюють на найшвидших швидкостях.
Використовуйте Case
Безпілотні автомобілі є одним із найбільш значущих застосувань цієї технології. Ці транспортні засоби здебільшого працюють, уявляючи своє оточення під час руху.
Однак проблема сучасної технології полягає в тому, що вона незграбна і займає занадто багато часу.
Однак за допомогою Instant NeRF все, що потрібно для того, щоб самокерований автомобіль наближено/розумів розмір і форму об’єктів реального світу, — це зробити фотографії, перетворити їх у 3D, а потім використати цю інформацію.
Все ще може бути інше використання в метавсесвіті або відеогра виробничі галузі.
Оскільки Instant NeRF дозволяє швидко створювати аватари або навіть цілі віртуальні світи, це правда.
Майже мало 3D персонаж буде потрібно моделювання, оскільки все, що вам потрібно зробити, це запустити нейронну мережу, і вона згенерує для вас персонажа.
Крім того, NVIDIA все ще вивчає можливість застосування цієї технології для додаткових програм, пов’язаних з машинним навчанням.
Наприклад, його можна використовувати для більш точного перекладу мов, ніж раніше, і покращення загального призначення глибоке навчання алгоритми, які зараз використовуються для більш широкого кола завдань.
Висновок
Багато проблем із графікою покладаються на специфічні для завдання структури даних, щоб використовувати плавність або розрідженість проблеми.
Практична альтернатива, заснована на навчанні, яку пропонує хеш-кодування NVIDIA з різною роздільною здатністю, автоматично концентрується на відповідних деталях, незалежно від робочого навантаження.
Щоб дізнатися більше про те, як все працює всередині, перевірте офіційну інформацію GitHub сховище
залишити коментар