Вы калі-небудзь глядзелі фільм, гулялі ў відэагульню або карысталіся віртуальнай рэальнасцю і заўважалі што-небудзь недарэчнае ў тым, як рухаюцца і з'яўляюцца чалавечыя персанажы?
Стварэнне рэалістычных і падрабязных людзей, створаных кампутарам, даўно было мэтай даследаванняў камп'ютэрнай графікі і камп'ютэрнага зроку.
,en HumanRF праект з'яўляецца захапляльным першым крокам да гэтай мэты
HumanRF - гэта дынамічнае нейронавае прадстаўленне сцэны, якое выкарыстоўвае відэаўваход з некалькімі праглядамі для фіксацыі поўнага выгляду цела чалавека ў руху. Давайце паглядзім, што гэта такое і якія патэнцыйныя перавагі гэтай тэхналогіі.
Захоп прадукцыйнасці чалавека
Стварэнне фотарэалістычных прадстаўленняў віртуальных налад даўно было праблемай у кампутарная графіка.
Традыцыйна мастакі стваралі 3D-аб'екты ўручную. Нядаўнія даследаванні, аднак, сканцэнтраваны на аднаўленні 3D-рэпрэзентацый з рэальных дадзеных.
Захоп і сінтэз рэалістычных выступленняў чалавека, у прыватнасці, былі ў цэнтры ўвагі для такіх прыкладанняў, як вытворчасць фільмаў, камп'ютэрныя гульні і тэлепрысутнасць.
Дасягненні поля дынамічнага нейронавага выпраменьвання
За апошнія гады быў дасягнуты велізарны прагрэс у вырашэнні гэтых праблем за кошт выкарыстання дынамічных нервовых палёў выпраменьвання (NeRF). NeRF здольны рэканструяваць 3D-поля, закадаваныя ў шматслаёвым персептроне (MLP), што дазваляе сінтэзаваць новы выгляд.
У той час як NeRF першапачаткова быў сканцэнтраваны на статычных сцэнах, у апошніх працах разглядаліся дынамічныя сцэны з выкарыстаннем кандыцыянавання часу або палёў дэфармацыі. Тым не менш, гэтыя метады працягваюць змагацца з больш доўгімі паслядоўнасцямі са складаным рухам, асабліва калі справа даходзіць да здымкі рухомых людзей.
База дадзеных ActorsHQ
Каб ліквідаваць гэтыя недахопы, прафесіяналы прапануюць ActorsHQ, новы высокадакладны набор даных апранутых людзей у руху, аптымізаваны для сінтэзу фотарэалістычных відаў. Набор даных утрымлівае шматпраглядныя запісы са 160 сінхранізаваных камер, кожная з якіх запісвае 12-мегапіксэльныя відэапатокі.
Гэты набор даных дазваляе стварыць новае прадстаўленне сцэны, якое пашырае хэш-кадыроўкі Instant-NGP на часовую вобласць шляхам уключэння часовага вымярэння разам з нізкарангавым раскладаннем тэнзара прасторы-часу сеткі функцый.
Прадстаўляем HumanRF
HumanRF - гэта 4D-дынамічнае прадстаўленне нейронавай сцэны, якое фіксуе рух усяго цела з уваходнага відэа з некалькіх праглядаў і дазваляе прайграваць з ракурсаў, якія раней не бачыліся. Гэта метад запісу відэа, які захоплівае шмат дадзеных, займаючы вельмі мала месца.
Ён дасягае гэтага, разбіваючы прастору і час на больш дробныя часткі, падобна таму, як набор Lego можна разабраць і сабраць зноўку.
Тэхналогія HumanRF можа вельмі добра фіксаваць рухі людзей на відэа, нават калі яны выконваюць цяжкія або складаныя рухі. Стваральнікі гэтай тэхналогіі дэманструюць эфектыўнасць HumanRF на нядаўна прадстаўленым наборы дадзеных ActorsHQ, дэманструючы значнае паляпшэнне ў параўнанні з існуючымі сучаснымі метадамі.
Такім чынам, як удалося стварыць HumanRF і якая яго ўнутраная праца?
Агляд метаду HumanRF
Дэкампазіцыя 4D-сеткі аб'ектаў
Дэкампазіцыя сеткі функцый 4D з'яўляецца найважнейшым кампанентам HumanRF. Камбінуючы аптымальна падзеленыя 4D-сегменты, гэты метад мадэлюе дынамічную 3D-сцэну. Кожны сегмент мае ўласную навучальную 4D-сетку функцый, якая кадуе паслядоўнасць кадраў.
Для больш кампактнага прадстаўлення прасторава-часавых даных сетка 4D-функцый вызначаецца як дэкампазіцыя чатырох 3D- і чатырох 1D-сетак. Дэкампазіцыя 4D-сеткі дапамагае гэтаму метаду ствараць высакаякасныя выявы з высокім узроўнем дэталізацыі, займаючы пры гэтым менш месца.
Адаптыўнае часовае раздзяленне
HumanRF выкарыстоўвае неглыбокія шматслойныя персептроны з рэдкімі хэш-сеткамі функцый для эфектыўнага адлюстравання адвольна доўгіх шматпраглядных даных. Кампактная 4D-сетка функцый выкарыстоўваецца для прадстаўлення аптымальна размеркаваных часовых сегментаў, якія складаюць часовую вобласць.
Незалежна ад часовага кантэксту метад дасягае найвышэйшай магутнасці прадстаўлення за кошт выкарыстання адаптыўнага часовага падзелу, каб гарантаваць, што агульны аб'ём 3D-прасторы, ахоплены кожным сегментам, мае аднолькавы памер. Незалежна ад таго, наколькі доўгае відэа, адаптыўнае часовае раздзяленне дапамагае стварыць паслядоўнае адлюстраванне.
Кантроль са стратамі толькі ў 2D
Памылкі паміж візуалізаванымі і ўваходнымі выявамі RGB і маскамі пярэдняга плана вымяраюцца HumanRF з выкарыстаннем страт толькі ў 2D, якія кантралююцца.
Тэхніка дасягае часовай узгодненасці з выкарыстаннем агульных MLP і 4D-дэкампазіцыі, і вынікі вельмі падобныя на вынікі найлепшых памераў сегментаў.
Метад больш эфектыўны і прасцейшы ў навучанні, чым метады, якія выкарыстоўваюць страты 3D, таму што ён выкарыстоўвае толькі страты 2D.
Метад дае вынікі, якія пераўзыходзяць вынікі іншых эксперыментальна правераных метадаў, што робіць яго перспектыўнай стратэгіяй для атрымання выяваў людзей-акцёраў у руху высокага калібра.
Магчымыя вобласці выкарыстання
Паляпшэнне відэагульняў і віртуальнай рэальнасці
Стварэнне віртуальнага персанажа ў рэжыме рэальнага часу відэагульні і прыкладання VR магчымыя з HumanRF. Рух чалавека-акцёра можа быць запісаны з розных ракурсаў, а затым дадзеныя могуць быць апрацаваны праз HumanRF.
Гэта дазваляе распрацоўшчыкі гульняў каб ствараць персанажаў, якія могуць рухацца і ўзаемадзейнічаць з навакольным асяроддзем больш рэалістычна, даючы гульцам больш прывабны вопыт.
Захоп руху ў кінавытворчасці
Вырабляючы выразныя выявы рухаў акцёраў, HumanRF можа палепшыць захоп руху ў працэсе кінавытворчасці.
Рэжысёры могуць ствараць рэалістычнае і дынамічнае прадстаўленне, якое можна рэдагаваць з розных ракурсаў, выкарыстоўваючы некалькі камер для запісу гульні акцёра і HumanRF для стварэння 4D-рэпрэзентацыі.
Гэта памяншае неабходнасць паўторных здымкаў і зніжае вытворчыя выдаткі.
Паляпшэнне віртуальных сустрэч і тэлеканферэнцый
Ствараючы 3D-мадэлі аддаленых удзельнікаў у рэжыме рэальнага часу, HumanRF дазваляе ствараць захапляльныя і рэалістычныя віртуальныя сустрэчы.
Удзельнікі віртуальных сустрэч могуць атрымаць больш цікавы і інтэрактыўны вопыт, фіксуючы рух аддаленага ўдзельніка з розных ракурсаў і апрацоўваючы даныя праз HumanRF.
Акрамя таго, HumanRF можна выкарыстоўваць для стварэння высакаякасных праглядаў аддаленых удзельнікаў падчас відэаканферэнцсувязь, што вядзе да лепшага супрацоўніцтва і зносін.
Садзейнічанне адукацыі і навучанню
HumanRF можна выкарыстоўваць для стварэння дынамічных, рэалістычных сімуляцый у навучальных і адукацыйных асяроддзях.
Мадэляванне трэніровак, якое дазваляе слухачам практыкавацца і вучыцца ў больш рэалістычнай і цікавай абстаноўцы, можа быць зроблена шляхам запісу рухаў інструктараў або акцёраў, якія выконваюць пэўныя задачы, і апрацоўкі даных праз HumanRF.
HumanRF, напрыклад, можна выкарыстоўваць для распрацоўкі сімулятараў ваджэння, палёту або медыцынскай падрыхтоўкі.
Павышэнне бяспекі і назірання
У праграмах сачэння і бяспекі HumanRF можна выкарыстоўваць для стварэння 3D-мадэляў людзей або груп, якія з'яўляюцца дынамічнымі і рэалістычнымі. Супрацоўнікі службы бяспекі могуць мець больш дакладнае ўяўленне аб руху і паводзінах чалавека, фіксуючы рухі людзей з розных пунктаў гледжання і апрацоўваючы даныя праз HumanRF.
Гэта паляпшае ідэнтыфікацыю і адсочванне патэнцыйных пагроз. Супрацоўнікі службы бяспекі могуць папрактыкавацца і падрыхтавацца да розных сітуацый, выкарыстоўваючы HumanRF для мадэлявання надзвычайных сітуацый.
Падвядзенне вынікаў, што чакае будучыня?
HumanRF - гэта эфектыўны падыход для стварэння высакаякасных унікальных відаў рухомага чалавека-акцёра. Ён прадэманстраваў шматспадзеўныя вынікі ў розных сферах прымянення, уключаючы захоп руху, віртуальную рэальнасць і тэлепрысутнасць. Патэнцыял HumanRF не абмяжоўваецца гэтымі праграмамі; існуе некалькі дадатковых магчымых ужыванняў гэтай тэхналогіі.
Чакаецца, што гэта будзе паляпшацца па меры развіцця даследаванняў у гэтым сектары, якія стануць больш эфектыўнымі і дакладнымі.
Новыя алгарытмы і архітэктуры амаль напэўна прывядуць да больш дасканалых спосабаў мадэлявання і адлюстравання чалавечых акцёраў у руху, што можа прывесці да шматлікіх цікавых дасягненняў у галінах кіно, гульняў і камунікацыі.
Акрамя таго, прымяненне мадэлі глыбокага навучання разам з HumanRF з'яўляецца патэнцыйным напрамкам для будучых даследаванняў. Гэта можа прывесці да больш эфектыўных і эфектыўных тэхналогій аналізу і мадэлявання руху чалавека.
Акрамя таго, аб'яднанне HumanRF з іншымі тэхналогіямі, такімі як сістэмы тактыльнай зваротнай сувязі і дапоўненая рэальнасць, можа прывесці да новых прыкладанняў у медыцынскай падрыхтоўцы, адукацыі і тэрапіі.
Пакінуць каментар