Ви коли-небудь дивилися фільм, грали у відеогру або використовували віртуальну реальність і помічали щось незрозуміле в тому, як рухаються та з’являються людські персонажі?
Створення реалістичних і деталізованих комп’ютерних людей давно було метою досліджень комп’ютерної графіки та комп’ютерного зору.
Команда Humanrf проект є захоплюючим першим кроком до цієї мети
HumanRF — це динамічне представлення нейронної сцени, яке використовує відеовхід із кількома видами для захоплення вигляду всього тіла людини в русі. Давайте подивимося, про що йдеться та які потенційні переваги цієї технології.
Зйомка продуктивності людини
Створення фотореалістичних зображень віртуальних налаштувань вже давно є проблемою в комп'ютерна графіка.
Традиційно художники створювали 3D-об’єкти вручну. Однак останні дослідження зосереджені на відтворенні тривимірних зображень із даних реального світу.
Зйомка та синтез реалістичних виступів людини, зокрема, були в центрі уваги для таких програм, як виробництво фільмів, комп’ютерні ігри та телеприсутність.
Удосконалення поля динамічного нейронного випромінювання
За останні роки було досягнуто величезного прогресу у вирішенні цих проблем за допомогою використання динамічних полів нейронного випромінювання (NeRF). NeRF здатний реконструювати тривимірні поля, закодовані в багатошаровому персептроні (MLP), що дозволяє синтезувати новий погляд.
У той час як NeRF спочатку був зосереджений на статичних сценах, останні роботи стосуються динамічних сцен з використанням часових умов або полів деформації. Однак ці методи продовжують боротися з довшими послідовностями зі складним рухом, особливо коли йдеться про зйомку рухомих людей.
База даних акторів
Щоб усунути ці недоліки, професіонали пропонують ActorsHQ, новий високоточний набір даних одягнених людей у русі, оптимізований для синтезу нових фотореалістичних зображень. Набір даних містить записи з кількома видами з 160 синхронізованих камер, кожна з яких записує 12-мегапіксельні відеопотоки.
Цей набір даних дозволяє створити нове представлення сцени, яке розширює хеш-кодування Instant-NGP на часову область шляхом включення вимірювання часу разом із розкладанням просторово-часового тензора низького рангу сітки ознак.
Представляємо HumanRF
HumanRF — це 4D-динамічна нейронна репрезентація сцени, яка фіксує рух усього тіла за допомогою вхідного відео з кількох ракурсів і дозволяє відтворювати зображення з ракурсів, які раніше не бачили. Це техніка відеозапису, яка фіксує багато даних, займаючи дуже мало місця.
Він досягає цього, розбиваючи простір і час на більш дрібні шматки, подібно до того, як набір Lego можна розібрати та знову зібрати.
Технологія HumanRF може дуже добре фіксувати рухи людей на відео, навіть якщо вони виконують складні або складні рухи. Творці цієї технології демонструють ефективність HumanRF на нещодавно представленому наборі даних ActorsHQ, демонструючи значне вдосконалення в порівнянні з існуючими найсучаснішими методами.
Отже, як вдалося створити HumanRF і яка його внутрішня робота?
Огляд методу HumanRF
Декомпозиція 4D сітки ознак
Декомпозиція сітки 4D-функцій є критично важливим компонентом HumanRF. Поєднуючи оптимально розділені 4D-сегменти, цей метод моделює динамічну 3D-сцену. Кожен сегмент має власну сітку 4D, яка кодує послідовність кадрів.
Для більш компактного представлення просторово-часових даних сітка 4D-об’єктів визначається як декомпозиція чотирьох 3D- і чотирьох 1D-сіток об’єктів. 4D-декомпозиція сітки функцій допомагає цьому методу створювати високоякісні зображення з високим рівнем деталізації, займаючи при цьому менше місця.
Адаптивне тимчасове поділ
HumanRF використовує неглибокі багатошарові персептрони з розрідженими хеш-сітками функцій для ефективного відтворення довільно довгих багаторакурсних даних. Компактна 4D сітка функцій використовується для представлення оптимально розподілених часових сегментів, які складають часову область.
Незалежно від тимчасового контексту, метод досягає чудової потужності представлення за допомогою адаптивного тимчасового поділу, щоб гарантувати, що загальний об’єм тривимірного простору, охоплений кожним сегментом, має однаковий розмір. Незалежно від тривалості відео, адаптивне тимчасове розділення допомагає створювати узгоджене представлення.
Нагляд із втратами лише у 2D
Помилки між візуалізованим і вхідним зображеннями RGB і масками переднього плану вимірюються HumanRF за допомогою втрат лише у 2D, які контролюються.
Ця техніка забезпечує узгодженість у часі за допомогою спільних MLP і 4D-декомпозиції, а результати дуже схожі на результати найкращих розмірів сегментів.
Цей метод є більш ефективним і простим у навчанні, ніж методи, які використовують втрати 3D, оскільки він використовує лише втрати 2D.
Цей метод дає результати, які перевершують результати інших експериментально перевірених методів, що робить його багатообіцяючою стратегією для створення високоякісних зображень людей-акторів у русі.
Можливі сфери використання
Покращення відеоігор і віртуальної реальності
Створення віртуального персонажа в реальному часі для відеоігри і програми VR можливі з HumanRF. Рух людини-актора можна записувати з різних кутів, а потім дані можна обробляти через HumanRF.
Це дозволяє розробники ігор створювати персонажів, які можуть рухатися та взаємодіяти з навколишнім середовищем більш реалістично, надаючи гравцям більш захоплюючий досвід.
Захоплення руху у кіновиробництві
Створюючи чіткі зображення рухів акторів, HumanRF може покращити захоплення руху в процесі створення фільму.
Режисери можуть створити реалістичну та динамічну виставу, яку можна редагувати з різних ракурсів, використовуючи кілька камер для запису гри актора та HumanRF для створення 4D-репрезентації.
Це зменшує потребу в перезйомках і знижує витрати на виробництво.
Удосконалення віртуальних зустрічей і телеконференцій
Створюючи 3D-моделі віддалених учасників у режимі реального часу, HumanRF дозволяє створювати захоплюючі та реалістичні віртуальні зустрічі.
Учасники віртуальних зустрічей можуть мати більш цікавий та інтерактивний досвід, фіксуючи рухи віддаленого учасника з різних кутів і обробляючи дані за допомогою HumanRF.
Крім того, HumanRF можна використовувати для створення високоякісних зображень віддалених учасників під час відео-конференція, що сприяє кращій співпраці та спілкуванню.
Сприяння освіті та навчанню
HumanRF можна використовувати для створення динамічних, реалістичних симуляцій у навчальних і освітніх середовищах.
Симуляції навчання, які дозволяють слухачам практикуватися та вчитися в більш реалістичному та цікавому середовищі, можна зробити шляхом запису рухів інструкторів або акторів, які виконують певні завдання, та обробки даних за допомогою HumanRF.
HumanRF, наприклад, можна використовувати для розробки симуляцій водіння, польоту або медичної підготовки.
Посилення безпеки та спостереження
У програмах спостереження та безпеки HumanRF можна використовувати для створення динамічних і реалістичних тривимірних моделей людей або груп. Співробітники служби безпеки можуть мати більш точне уявлення про рух і поведінку людини, фіксуючи рухи людей з різних точок зору та обробляючи дані за допомогою HumanRF.
Це покращує ідентифікацію та відстеження потенційних загроз. Співробітники служби безпеки можуть тренуватися та готуватися до різних ситуацій, використовуючи HumanRF для створення симуляцій надзвичайних ситуацій.
Підведення підсумків, що чекає в майбутньому?
HumanRF — це ефективний підхід для створення високоякісних унікальних зображень рухомого актора-людини. Він продемонстрував багатообіцяючі результати в різних програмах, включаючи захоплення руху, віртуальну реальність і телеприсутність. Потенціал HumanRF не обмежується цими програмами; існує кілька додаткових можливих застосувань цієї технології.
Очікується, що він покращиться, оскільки дослідження в цьому секторі розвиваються, стаючи більш ефективними та точними.
Нові алгоритми та архітектури майже напевно призведуть до більш просунутих способів моделювання та зображення людей-акторів у русі, що може призвести до численних цікавих досягнень у галузях кіно, ігор та комунікації.
Крім того, застосування моделі глибокого навчання разом з HumanRF є потенційним напрямком для майбутніх досліджень. Це може призвести до більш ефективних і дієвих технологій аналізу та моделювання руху людини.
Крім того, поєднання HumanRF з іншими технологіями, такими як системи тактильного зворотного зв’язку та доповнена реальність, може дати початок новим застосуванням у медичній підготовці, освіті та терапії.
залишити коментар