Jeste li ikada gledali film, igrali video igricu ili koristili virtualnu stvarnost i primijetili nešto nedostatno o tome kako se ljudski likovi kreću i pojavljuju?
Stvaranje realističnih i detaljnih računalno generiranih ljudi dugo je bio cilj istraživanja računalne grafike i računalnog vida.
Korištenje električnih romobila ističe HumanRF Projekt je uzbudljiv prvi korak prema tom cilju
HumanRF je dinamički neuralni prikaz scene koji koristi video ulaz s više prikaza za snimanje izgleda cijelog tijela ljudi u pokretu. Pogledajmo o čemu se radi i koje su potencijalne prednosti ove tehnologije.
Snimanje ljudske izvedbe
Stvaranje fotorealističnih prikaza virtualnih postavki dugo je bio problem u računalna grafika.
Tradicionalno, umjetnici su ručno stvarali 3D objekte. Nedavne studije su se, međutim, usredotočile na ponovno stvaranje 3D prikaza iz podataka iz stvarnog svijeta.
Snimanje i sintetiziranje realističnih ljudskih performansi posebno je bilo u središtu proučavanja za aplikacije kao što su filmska produkcija, računalne igre i teleprisutnost.
Napredak polja dinamičkog neuralnog zračenja
Posljednjih godina postignut je golem napredak u rješavanju ovih izazova upotrebom dinamičkih neuralnih polja zračenja (NeRF). NeRF je sposoban rekonstruirati 3D polja kodirana u višeslojnom perceptronu (MLP), omogućujući sintezu novog pogleda.
Dok je NeRF u početku bio fokusiran na statične scene, noviji rad bavio se dinamičkim scenama korištenjem vremenskih uvjeta ili polja deformacije. Međutim, te se metode i dalje bore s duljim sekvencama sa složenim pokretima, osobito kada je u pitanju snimanje ljudi u pokretu.
Baza podataka o glumcima
Kako bi riješili te nedostatke, stručnjaci predlažu ActorsHQ, novi skup podataka visoke vjernosti odjevenih ljudi u pokretu optimiziran za fotorealističnu sintezu novih prikaza. Skup podataka sadrži snimke s više prikaza sa 160 sinkroniziranih kamera, od kojih svaka snima video streamove od 12 megapiksela.
Ovaj skup podataka omogućuje stvaranje novog prikaza scene koji proširuje Instant-NGP hash kodiranje na vremensku domenu uključivanjem vremenske dimenzije uz prostorno-vremensku tenzorsku dekompoziciju niskog ranga mreže značajki.
Predstavljamo HumanRF
HumanRF je 4D dinamička neuralna scena koja bilježi pokrete cijelog tijela iz video ulaza s više prikaza i omogućuje reprodukciju iz prethodno neviđenih perspektiva. To je tehnika video snimanja koja bilježi mnogo podataka, a zauzima vrlo malo prostora.
To postiže razbijanjem prostora i vremena na manje dijelove, slično kao što se Lego kocke mogu rastaviti i ponovno sastaviti.
HumanRF tehnologija može vrlo dobro uhvatiti pokrete ljudi u videu, čak i ako rade teške ili složene pokrete. Tvorci ove tehnologije pokazuju učinkovitost HumanRF-a na novouvedenom skupu podataka ActorsHQ, pokazujući značajno poboljšanje u odnosu na postojeće najsuvremenije metode.
Dakle, kako je bilo moguće stvoriti HumanRF i kakav je njegov unutarnji rad?
Pregled HumanRF metode
Dekompozicija 4D mreže značajki
Dekompozicija rešetke 4D značajki kritična je komponenta HumanRF-a. Kombiniranjem optimalno podijeljenih 4D segmenata, ova metoda modelira dinamičnu 3D scenu. Svaki segment ima vlastitu rešetku 4D značajki koja se može uvježbati, a koja kodira niz okvira.
Kako bi se prostorno-vremenski podaci predstavili kompaktnije, 4D mreža značajki definirana je kao dekompozicija četiri 3D i četiri 1D mreže značajki. 4D dekompozicija mreže značajki pomaže ovoj metodi u stvaranju visokokvalitetnih slika s visokom razinom detalja, a pritom zauzima manje prostora.
Adaptivno vremensko dijeljenje
HumanRF koristi plitke višeslojne perceptrone s rijetkim hash-mrežama za učinkovit prikaz proizvoljno dugačkih podataka s više pogleda. Kompaktna 4D mreža značajki koristi se za predstavljanje optimalno raspoređenih vremenskih segmenata koji čine vremensku domenu.
Bez obzira na vremenski kontekst, metoda postiže vrhunsku moć predstavljanja upotrebom prilagodljive vremenske particije kako bi se osiguralo da je ukupni volumen 3D prostora koji pokriva svaki segment slične veličine. Bez obzira koliko je videozapis dugačak, prilagodljivo vremensko dijeljenje pomaže u stvaranju dosljedne reprezentacije.
Nadzor s gubicima samo u 2D
Pogreške između prikazanih i ulaznih RGB slika i maski prednjeg plana mjeri HumanRF koristeći samo 2D gubitke koji se nadziru.
Tehnikom se postiže vremenska dosljednost korištenjem zajedničkih MLP-ova i 4D dekompozicije, a rezultati su vrlo slični onima kod najboljih veličina segmenata.
Metoda je učinkovitija i jednostavnija za treniranje od metoda koje koriste 3D gubitke jer koristi samo 2D gubitke.
Metoda daje rezultate koji su bolji od onih drugih eksperimentalno testiranih metoda, što je čini obećavajućom strategijom za proizvodnju slika ljudskih glumaca u pokretu koji su visokog kalibra.
Moguća područja uporabe
Poboljšanje videoigara i virtualne stvarnosti
Stvaranje virtualnog lika u stvarnom vremenu za video igre a VR aplikacije moguće su uz HumanRF. Kretanje ljudskog glumca može se snimati iz različitih kutova, a podaci se zatim mogu obraditi putem HumanRF-a.
Ovo dopušta programerima igara za stvaranje likova koji se mogu kretati i realističnije komunicirati s okolinom, dajući igračima zanimljivije iskustvo.
Snimanje pokreta u filmskoj produkciji
Proizvodeći jasne slike pokreta glumaca, HumanRF može poboljšati snimanje pokreta u procesu snimanja filma.
Filmski stvaratelji mogu stvoriti realističnu i dinamičnu izvedbu koja se može montirati iz različitih kutova korištenjem više kamera za snimanje izvedbe glumca i HumanRF-a za proizvodnju 4D prikaza.
To smanjuje potrebu za ponovnim snimanjem i smanjuje proizvodne troškove.
Poboljšanje virtualnih sastanaka i telekonferencija
Izradom 3D modela udaljenih sudionika u stvarnom vremenu, HumanRF omogućuje stvaranje imerzivnih i realističnih virtualnih sastanaka.
Sudionici virtualnih sastanaka mogu doživjeti zanimljivije i interaktivnije iskustvo snimanjem pokreta udaljenog sudionika iz različitih kutova i obradom podataka putem HumanRF-a.
Osim toga, HumanRF se može koristiti za stvaranje visokokvalitetnih prikaza udaljenih sudionika tijekom video konferencija, što dovodi do bolje suradnje i komunikacije.
Olakšavanje obrazovanja i obuke
HumanRF se može koristiti za izgradnju dinamičnih, realističnih simulacija u okruženjima za obuku i obrazovanje.
Simulacije treninga koje polaznicima omogućuju vježbanje i učenje u realističnijem i zanimljivijem okruženju mogu se napraviti snimanjem kretanja instruktora ili glumaca koji obavljaju određene zadatke i obradom podataka putem HumanRF-a.
HumanRF se, na primjer, može koristiti za razvoj simulacija za vožnju, let ili medicinsku obuku.
Poboljšanje sigurnosti i nadzora
U aplikacijama za nadzor i sigurnost, HumanRF se može koristiti za stvaranje 3D modela ljudi ili grupa koji su dinamični i realistični. Sigurnosno osoblje može imati točniji prikaz kretanja i ponašanja osobe hvatanjem kretanja pojedinaca s različitih stajališta i obradom podataka putem HumanRF-a.
To poboljšava prepoznavanje i praćenje potencijalnih prijetnji. Sigurnosno osoblje može vježbati i pripremiti se za razne situacije pomoću HumanRF-a za stvaranje simulacija hitnih scenarija.
Zaključak, što budućnost nosi?
HumanRF je učinkovit pristup za generiranje visokokvalitetnih jedinstvenih prikaza ljudskog glumca u pokretu. Pokazao je obećavajuće rezultate u raznim primjenama, uključujući snimanje pokreta, virtualnu stvarnost i teleprisutnost. HumanRF potencijal nije ograničen na ove primjene; postoji nekoliko dodatnih mogućih primjena ove tehnologije.
Očekuje se da će se poboljšati kako se studija u ovom sektoru bude razvijala, postajući učinkovitija i preciznija.
Novi algoritmi i arhitekture će gotovo sigurno dovesti do naprednijih načina modeliranja i prikazivanja ljudskih glumaca u pokretu, što bi moglo dovesti do brojnih zanimljivih napredaka u industriji kinematografije, igara i komunikacije.
Nadalje, primjena modeli dubokog učenja zajedno s HumanRF-om potencijalni je smjer za buduće studije. To bi moglo dovesti do učinkovitije i učinkovitije analize ljudskog kretanja i tehnologija modeliranja.
Nadalje, kombiniranje HumanRF-a s drugim tehnologijama poput sustava haptičke povratne sprege i proširene stvarnosti moglo bi dovesti do novih primjena u medicinskoj obuci, obrazovanju i terapiji.
Ostavi odgovor