Oletko koskaan katsonut elokuvaa, pelannut videopeliä tai käyttänyt virtuaalitodellisuutta ja huomannut jotain epäasiallista ihmishahmojen liikkumisesta ja ilmestymisestä?
Realististen ja yksityiskohtaisten tietokoneiden tuottamien ihmisten luominen on pitkään ollut tietokonegrafiikan ja tietokonenäkötutkimuksen tavoite.
- HumanRF projekti on jännittävä ensimmäinen askel kohti tätä tavoitetta
HumanRF on dynaaminen hermokohtausesitys, joka käyttää usean näkymän videotuloa ikuistamaan liikkeessä olevien ihmisten koko kehon ilmeen. Katsotaanpa, mistä tässä on kyse ja mitkä ovat tämän tekniikan mahdolliset edut.
Ihmisen suorituskyvyn vangitseminen
Virtuaalisten asetusten fotorealististen esitysten luominen on ollut pitkään ongelma tietokonegrafiikka.
Perinteisesti taiteilijat ovat luoneet 3D-objekteja käsin. Viimeaikaiset tutkimukset ovat kuitenkin keskittyneet 3D-esitysten luomiseen todellisen maailman datasta.
Erityisesti realististen ihmisten suoritusten vangitsemista ja syntetisoimista on tutkittu sovelluksissa, kuten elokuvatuotannossa, tietokonepeleissä ja etänäkyvyydessä.
Dynaaminen hermosäteilykenttä edistyy
Viime vuosina näihin haasteisiin vastaamisessa on edistytty valtavasti käyttämällä dynaamisia hermosäteilykenttiä (NeRF). NeRF pystyy rekonstruoimaan monikerroksiseen perceptroniin (MLP) koodattuja 3D-kenttiä, mikä mahdollistaa uudenlaisen synteesin.
Vaikka NeRF keskittyi alun perin staattisiin kohtauksiin, uudemmissa töissä on käsitelty dynaamisia kohtauksia käyttämällä aikaehto- tai muodonmuutoskenttiä. Nämä menetelmät kamppailevat kuitenkin edelleen pidempien sekvenssien kanssa, joissa on monimutkaista liikettä, etenkin kun on kyse liikkuvien ihmisten vangitsemisesta.
ActorsHQ:n tietokanta
Näiden puutteiden korjaamiseksi ammattilaiset ehdottavat ActorsHQ:ta, uutta korkealaatuista tietojoukkoa pukeutuneista liikkeessä olevista ihmisistä, joka on optimoitu fotorealistiseen uudenlaisen näkymän synteesiin. Tietojoukko sisältää usean näkymän tallenteita 160 synkronoidusta kamerasta, joista jokainen tallentaa 12 megapikselin videovirtaa.
Tämä tietojoukko mahdollistaa uuden kohtausesityksen luomisen, joka laajentaa Instant-NGP-hajakoodaukset ajalliseen toimialueeseen sisällyttämällä aikaulottuvuuden piirreruudukon matala-arvoisen tila-aikatensorihajotelman rinnalle.
Esittelyssä HumanRF
HumanRF on dynaaminen 4D-neuraalinen kohtausesitys, joka kaappaa koko kehon liikkeet usean näkymän videotulosta ja mahdollistaa toiston aiemmin näkemättömistä näkökulmista. Se on videotallennustekniikka, joka kaappaa paljon tietoa viemättä hyvin vähän tilaa.
Se saavuttaa tämän hajottamalla tilan ja ajan pienemmiksi paloiksi, samalla tavalla kuin Lego-setin voi purkaa ja koota.
HumanRF-teknologia voi tallentaa ihmisten liikkeet videolle erittäin hyvin, vaikka he tekisivätkin vaikeita tai monimutkaisia liikkeitä. Tämän tekniikan luojat osoittavat HumanRF:n tehokkuuden äskettäin esitellyssä ActorsHQ-tietojoukossa, mikä osoittaa merkittävän parannuksen nykyisiin huipputekniikan menetelmiin verrattuna.
Joten miten HumanRF oli mahdollista luoda ja mitkä ovat sen sisäiset toiminnat?
Yleiskatsaus HumanRF-menetelmään
4D-ominaisuusruudukon hajoaminen
4D-ominaisuusruudukon hajottaminen on HumanRF:n kriittinen osa. Yhdistämällä optimaalisesti ositetut 4D-segmentit tämä menetelmä mallintaa dynaamisen 3D-näkymän. Jokaisella segmentillä on oma koulutettava 4D-ominaisuusruudukko, joka koodaa kehyssarjan.
Jotta spatiotemporaalista dataa voidaan esittää kompaktimmin, 4D-ominaisuusruudukko määritellään neljän 3D- ja neljän 1D-ominaisuusruudukon hajotelmana. 4D-ominaisuusruudukon hajottaminen auttaa menetelmää tuottamaan korkealaatuisia kuvia, joissa on korkeat yksityiskohdat ja jotka vievät vähemmän tilaa.
Mukautuva ajallinen osiointi
HumanRF käyttää matalia monikerroksisia perceptroneja, joissa on harvat ominaisuushajautusruudukot, mikä tekee mielivaltaisen pitkän moninäkymädatan tehokkaasti. Kompaktia 4D-ominaisuusruudukkoa käytetään edustamaan optimaalisesti jakautuneita ajallisia segmenttejä, jotka muodostavat aikaalueen.
Ajallisesta kontekstista riippumatta menetelmä saavuttaa ylivoimaisen esitystehon käyttämällä adaptiivista ajallista osiointia sen varmistamiseksi, että kunkin segmentin kattama 3D-tilan kokonaistilavuus on samankokoinen. Riippumatta siitä, kuinka pitkä video on, mukautuva ajallinen osiointi auttaa tuottamaan johdonmukaisen esityksen.
Valvonta vain 2D-häviöillä
HumanRF mittaa virheet renderöityjen ja syötettyjen RGB-kuvien ja etualan maskien välillä käyttämällä vain 2D-häviöitä, joita valvotaan.
Tekniikka saavuttaa ajallisen johdonmukaisuuden käyttämällä jaettuja MLP:itä ja 4D-hajoamista, ja tulokset ovat hyvin samankaltaisia kuin parhaiden segmenttikokojen kanssa.
Menetelmä on tehokkaampi ja yksinkertaisempi harjoitella kuin menetelmät, jotka käyttävät 3D-häviöitä, koska se käyttää vain 2D-häviöitä.
Menetelmä tuottaa tuloksia, jotka ovat parempia kuin muilla kokeellisesti testatuilla menetelmillä, joten se on lupaava strategia korkealaatuisten kuvien tuottamiseen liikkuvista ihmistoimijoista.
Mahdolliset käyttöalueet
Videopelien ja virtuaalitodellisuuden parantaminen
Reaaliaikainen virtuaalisen hahmon luominen Videopelit ja VR-sovellukset ovat mahdollisia HumanRF:n avulla. Ihmistoimijan liikettä voidaan tallentaa eri näkökulmista, ja dataa voidaan sitten käsitellä HumanRF:n kautta.
Tämä mahdollistaa pelien kehittäjät luoda hahmoja, jotka voivat liikkua ja olla vuorovaikutuksessa ympäristön kanssa realistisemmin, mikä antaa pelaajille kiinnostavamman kokemuksen.
Motion Capture elokuvatuotannossa
Tuottamalla selkeitä kuvia näyttelijöiden liikkeestä HumanRF voi parantaa liikkeen sieppausta elokuvantekoprosessissa.
Elokuvantekijät voivat luoda realistisen ja dynaamisen esityksen, jota voidaan editoida eri näkökulmista käyttämällä useita kameroita näyttelijän esityksen tallentamiseen ja HumanRF:llä 4D-esityksen tuottamiseen.
Tämä vähentää uudelleenkuvausten tarvetta ja alentaa tuotantokustannuksia.
Virtuaalisten kokousten ja puhelinneuvottelujen tehostaminen
HumanRF tuottaa 3D-malleja etäisistä osallistujista reaaliajassa, ja se mahdollistaa mukaansatempaavan ja realistisen luomisen virtuaalisiin kokouksiin.
Virtuaalikokouksiin osallistujat voivat saada mielenkiintoisemman ja vuorovaikutteisemman kokemuksen vangitsemalla etäosallistujan liikettä eri näkökulmista ja käsittelemällä tietoja HumanRF:n kautta.
Lisäksi HumanRF:n avulla voidaan luoda korkealaatuisia näkymiä etäosallistujista aikana videoneuvottelu, mikä johtaa parempaan yhteistyöhön ja viestintään.
Koulutuksen ja koulutuksen helpottaminen
HumanRF:ää voidaan käyttää dynaamisten, realististen simulaatioiden rakentamiseen koulutus- ja koulutusympäristöissä.
Harjoittelusimulaatioita, jotka mahdollistavat harjoittelun ja oppimisen realistisemmassa ja mielenkiintoisemmassa ympäristössä, voidaan tehdä tallentamalla tiettyjä tehtäviä suorittavien ohjaajien tai toimijoiden liikkeitä ja käsittelemällä tietoja HumanRF:n kautta.
HumanRF:ää voidaan käyttää esimerkiksi ajo-, lento- tai lääketieteellisen koulutuksen simulaatioiden kehittämiseen.
Turvallisuuden ja valvonnan parantaminen
Valvonta- ja turvallisuussovelluksissa HumanRF:ää voidaan käyttää luomaan dynaamisia ja realistisia 3D-malleja ihmisistä tai ryhmistä. Turvahenkilöstö voi saada tarkemman kuvan henkilön liikkeestä ja käyttäytymisestä vangitsemalla yksilöiden liikkeitä eri näkökulmista ja käsittelemällä tietoja HumanRF:n kautta.
Tämä parantaa mahdollisten uhkien tunnistamista ja seurantaa. Turvahenkilöstö voi harjoitella ja valmistautua erilaisiin tilanteisiin HumanRF:n avulla luodakseen simulaatioita hätätilanteista.
Päätös, mitä tulevaisuus tuo tullessaan?
HumanRF on tehokas tapa luoda korkealaatuisia ainutlaatuisia näkymiä liikkuvasta ihmistoimijasta. Se on osoittanut lupaavia tuloksia useissa sovelluksissa, mukaan lukien liikkeensieppaus, virtuaalitodellisuus ja teleläsnäolo. HumanRF:n mahdollisuudet eivät rajoitu näihin sovelluksiin; tälle tekniikalle on useita mahdollisia lisäsovelluksia.
Sen odotetaan paranevan alan tutkimuksen kehittyessä, tehostuen ja tarkentuvaan.
Uudet algoritmit ja arkkitehtuurit johtavat lähes varmasti kehittyneempiin tapoihin mallintaa ja kuvata ihmistoimijoita liikkeessä, mikä saattaa johtaa lukuisiin mielenkiintoisiin edistysaskeliin elokuva-, peli- ja viestintäteollisuudessa.
Lisäksi syvällisen oppimisen mallit yhdessä HumanRF:n kanssa on mahdollinen suunta tulevalle tutkimukselle. Tämä saattaa johtaa tehokkaampiin ja tehokkaampiin ihmisen liikeanalyysi- ja mallinnustekniikoihin.
Lisäksi HumanRF:n yhdistäminen muihin teknologioihin, kuten haptisiin palautejärjestelmiin ja lisättyyn todellisuuteen, voi synnyttää uusia sovelluksia lääketieteellisessä koulutuksessa, koulutuksessa ja terapiassa.
Jätä vastaus