Нейронавы рэндэрынг - гэта новая тэхніка глыбокага навучання, якая накіравана на пашырэнне класічнага канвеера камп'ютэрнай графікі нейронавымі сеткамі.
Нейронны алгарытм рэндэрынгу запатрабуе набору малюнкаў, якія прадстаўляюць розныя ракурсы адной сцэны. Затым гэтыя выявы будуць пададзены ў нейронавую сетку для стварэння мадэлі, якая можа выводзіць новыя ракурсы той самай сцэны.
Бляск нейронавага рэндэрынгу заключаецца ў тым, як ён можа дакладна ўзнавіць падрабязныя фотарэалістычныя сцэны без неабходнасці спадзявацца на класічныя метады, якія могуць быць больш патрабавальнымі да вылічэнняў.
Перш чым паглыбіцца ў тое, як працуе нейронны рэндэрынг, давайце разбярэмся з асновамі класічнага рэндэрынгу.
Што такое класічны рэндэрынг?
Давайце спачатку разбярэмся з тыповымі метадамі, якія выкарыстоўваюцца ў класічнай візуалізацыі.
Класічны рэндэрынг адносіцца да набору метадаў, якія выкарыстоўваюцца для стварэння 2D-малюнка трохмернай сцэны. Таксама вядомы як сінтэз выявы, класічны рэндэрынг выкарыстоўвае розныя алгарытмы для мадэлявання ўзаемадзеяння святла з рознымі тыпамі аб'ектаў.
Напрыклад, візуалізацыя суцэльнай цэглы запатрабуе пэўнага набору алгарытмаў для вызначэння становішча цені або таго, наколькі добра асветлены абодва бакі сцяны. Падобным чынам аб'екты, якія адлюстроўваюць або праламляюць святло, такія як люстэрка, бліскучы прадмет або вадаём, таксама запатрабуюць уласных метадаў.
У класічным візуалізацыі кожны актыў прадстаўлены шматкутнай сеткай. Затым праграма шэйдэраў будзе выкарыстоўваць шматкутнік у якасці ўваходных дадзеных, каб вызначыць, як будзе выглядаць аб'ект пры зададзеным асвятленні і ракурсе.
Рэалістычная візуалізацыя запатрабуе значна большай вылічальнай магутнасці, паколькі нашы актывы ў канчатковым выніку маюць мільёны палігонаў для выкарыстання ў якасці ўваходных дадзеных. Рэндэрынг згенераванага камп'ютэрам, звычайнага ў галівудскіх блокбастэрах, займае некалькі тыдняў ці нават месяцаў і можа каштаваць мільёны долараў.
Падыход трасіроўкі прамянёў асабліва дарагі, таму што кожны піксель у канчатковым малюнку патрабуе разліку шляху святла ад крыніцы святла да аб'екта і да камеры.
Дасягненні апаратнага забеспячэння зрабілі візуалізацыю графікі значна больш даступнай для карыстальнікаў. Напрыклад, многія з апошніх відэагульні дазваляюць эфекты з трасіроўкай прамянёў, такія як фотарэалістычныя адлюстраванні і цені, пакуль іх апаратнае забеспячэнне адпавядае гэтай задачы.
Найноўшыя GPU (графічныя апрацоўшчыкі) створаны спецыяльна, каб дапамагчы працэсару апрацоўваць вельмі складаныя вылічэнні, неабходныя для візуалізацыі фотарэалістычнай графікі.
Рост нейронавай візуалізацыі
Нейронавы рэндэрынг спрабуе вырашыць праблему рэндэрынгу іншым спосабам. Замест таго, каб выкарыстоўваць алгарытмы для мадэлявання ўзаемадзеяння святла з аб'ектамі, што, калі б мы стварылі мадэль, якая вывучае, як павінна выглядаць сцэна з пэўнага ракурсу?
Вы можаце разглядаць гэта як кароткі шлях да стварэння фотарэалістычных сцэн. З дапамогай нейронавага рэндэрынгу нам не трэба разлічваць, як святло ўзаемадзейнічае з аб'ектам, нам проста патрэбна дастаткова навучальных даных.
Такі падыход дазваляе даследчыкам ствараць высакаякасныя візуалізацыі складаных сцэн без выканання
Што такое нейронавыя палі?
Як згадвалася раней, большасць 3D-рэндэрыраў выкарыстоўваюць палігонныя сеткі для захоўвання дадзеных аб форме і тэкстуры кожнага аб'екта.
Тым не менш, нейронавыя палі набіраюць папулярнасць як альтэрнатыўны метад прадстаўлення трохмерных аб'ектаў. У адрозненне ад палігонных сетак, нейронавыя палі дыферэнцыруемыя і бесперапынныя.
Што мы маем на ўвазе, калі кажам, што нейронавыя палі дыферэнцуюцца?
Двухмерны выхад з нейронавага поля цяпер можна навучыць, каб ён стаў фотарэалістычным, проста наладзіўшы вага нейроннай сеткі.
Выкарыстоўваючы нейронавыя палі, нам больш не трэба мадэляваць фізіку святла для адлюстравання сцэны. Веды аб тым, як будзе асвятляцца канчатковы рэндэрынг, цяпер няяўна захоўваюцца ў вагах нашага нейронных сеткі.
Гэта дазваляе нам адносна хутка ствараць новыя выявы і відэа толькі з некалькіх фатаграфій і відэа.
Як трэніраваць нейронавае поле?
Цяпер, калі мы ведаем асновы таго, як працуе нервовае поле, давайце паглядзім, як даследчыкі могуць трэніраваць поле нервовага ззяння або НеРФ.
Спачатку нам трэба будзе ўзяць выбарку выпадковых каардынатаў сцэны і перадаць іх у нейронавую сетку. Затым гэтая сетка зможа вырабляць палявыя аб'ёмы.
Колькасці вырабленага поля лічацца ўзорамі з патрэбнай вобласці рэканструкцыі сцэны, якую мы хочам стварыць.
Затым нам трэба будзе супаставіць рэканструкцыю з фактычнымі 2D-малюнкамі. Затым алгарытм вылічыць памылку рэканструкцыі. Гэтая памылка дапаможа нейронавай сетцы аптымізаваць здольнасць рэканструяваць сцэну.
Прымяненне нейронавай візуалізацыі
Сінтэз рамана
Новы сінтэз відаў адносіцца да задачы стварэння ракурсаў камеры з новых ракурсаў з выкарыстаннем даных з абмежаванай колькасці ракурсаў.
Метады нейронавага рэндэрынгу спрабуюць адгадаць адноснае становішча камеры для кожнага відарыса ў наборы даных і перадаць гэтыя даныя ў нейронавую сетку.
Затым нейронавая сетка створыць 3D-прадстаўленне сцэны, дзе кожная кропка ў 3D-прасторы мае адпаведны колер і шчыльнасць.
Новая рэалізацыя NeRFs у Google Street View выкарыстоўвае новы сінтэз выгляду, каб дазволіць карыстальнікам даследаваць месцы ў рэальным свеце, як быццам яны кіруюць камерай, якая здымае відэа. Гэта дазваляе турыстам захапляльна даследаваць пункты прызначэння, перш чым прыняць рашэнне аб паездцы ў пэўны сайт.
Фотарэалістычныя аватаркі
Перадавыя метады нейроннай візуалізацыі таксама могуць пракласці шлях да больш рэалістычных лічбавых аватараў. Затым гэтыя аватары можна выкарыстоўваць для розных роляў, такіх як віртуальныя памочнікі або абслугоўванне кліентаў, або як спосаб для карыстальнікаў уставіць сваё падабенства ў відэагульня або змадэляваны рэндэр.
Так, напрыклад, папера апублікаваны ў сакавіку 2023 г. прапануе выкарыстоўваць метады нейронавага рэндэрынгу для стварэння фотарэалістычнага аватара пасля некалькіх хвілін відэа.
заключэнне
Нейронавы рэндэрынг - гэта захапляльная вобласць даследаванняў, якая можа змяніць усю індустрыю камп'ютэрнай графікі.
Тэхналогія можа знізіць уваходны бар'ер для стварэння 3D-рэсурсаў. Магчыма, камандам, якія займаюцца візуальнымі эфектамі, больш не прыйдзецца чакаць днямі, каб адлюстраваць некалькі хвілін фотарэалістычнай графікі.
Аб'яднанне тэхналогіі з існуючымі праграмамі VR і AR таксама можа дазволіць распрацоўшчыкам ствараць больш захапляльныя ўражанні.
Як вы думаеце, у чым сапраўдны патэнцыял нейроннай візуалізацыі?
Пакінуць каментар