Qatt rajt film, lgħabt xi logħba tal-kompjuter, jew użajt ir-realtà virtwali u ndunajt xi ħaġa ta’ barra dwar kif il-karattri umani mċaqalqu u dehru?
Il-ħolqien ta 'bnedmin realistiċi u dettaljati ġenerati mill-kompjuter ilu għal żmien twil għan ta' riċerka tal-grafika tal-kompjuter u tal-viżjoni tal-kompjuter.
il HumanRF proġett huwa l-ewwel pass eċċitanti lejn dak l-għan
HumanRF hija rappreżentazzjoni dinamika tax-xena newrali li tuża input tal-vidjo b'ħafna opinjonijiet biex taqbad id-dehra tal-ġisem kollu tal-bnedmin fil-moviment. Ejja naraw x'inhi kollha u x'inhuma l-benefiċċji potenzjali ta 'din it-teknoloġija.
Qbid tal-Prestazzjoni tal-Bniedem
Il-ħolqien ta' rappreżentazzjonijiet fotorealistiċi ta' settings virtwali ilu problema grafika tal-kompjuter.
Tradizzjonalment, l-artisti ġġeneraw oġġetti 3D bl-idejn. Studji reċenti, madankollu, ikkonċentraw fuq li jirrikreaw rappreżentazzjonijiet 3D minn data tad-dinja reali.
Il-qbid u s-sintetizzar tal-prestazzjonijiet umani realistiċi, b'mod partikolari, kien fokus ta 'studju għal applikazzjonijiet bħall-produzzjoni tal-films, logħob tal-kompjuter, u telepreżenza.
Avvanzi tal-Qasam ta' Radjanza Neural Dinamika
F'dawn l-aħħar snin, sar progress kbir fl-indirizzar ta' dawn l-isfidi permezz tal-użu ta' kampijiet ta' radjanza newrali dinamiċi (NeRF). NeRF huwa kapaċi jirrikostitwixxi oqsma 3D kodifikati f'perceptron b'ħafna saffi (MLP), li jippermetti sinteżi b'vista ġdida.
Filwaqt li n-NeRF inizjalment kien iffukat fuq xeni statiċi, xogħol aktar reċenti indirizza xeni dinamiċi bl-użu ta' oqsma ta' kondizzjonament tal-ħin jew deformazzjoni. Madankollu, dawn il-metodi jkomplu jissieltu ma 'sekwenzi itwal b'moviment kumpless, partikolarment meta jiġu biex jinqabdu bnedmin li jiċċaqalqu.
Datase ta' ActorsHQ
Biex jindirizzaw dawn id-difetti, il-professjonisti jipproponu ActorsHQ, sett ta 'dejta ġdid ta' fedeltà għolja ta 'bnedmin liebsa fil-moviment ottimizzat għal sinteżi fotorealistika ta' opinjoni ġdida. Is-sett tad-dejta fih reġistrazzjonijiet b'ħafna opinjonijiet minn 160 kamera sinkronizzata, kull wieħed jiġbor streams tal-vidjow ta '12-il megapixel.
Dan is-sett tad-dejta jippermetti l-ħolqien ta 'rappreżentazzjoni ta' xena ġdida li testendi l-kodifikazzjonijiet tal-hash Instant-NGP għad-dominju temporali billi tinkorpora d-dimensjoni tal-ħin flimkien ma 'dekompożizzjoni ta' tensur spazjali-ħin ta 'rank baxx tal-grilja tal-karatteristiċi.
L-introduzzjoni tal-HumanRF
HumanRF hija rappreżentazzjoni ta 'xena newrali dinamika 4D li taqbad il-moviment tal-ġisem kollu minn input tal-vidjo b'ħafna opinjonijiet u tippermetti daqq minn perspettivi li ma kinux jidhru qabel. Hija teknika għar-reġistrazzjoni bil-vidjo li taqbad ħafna dejta filwaqt li tieħu ftit spazju.
Dan iwettaq billi jkisser l-ispazju u l-ħin f'biċċiet iżgħar, simili għal kif sett Lego jista 'jiġi żarmat u mmuntat mill-ġdid.
It-teknoloġija HumanRF tista 'taqbad il-movimenti tan-nies f'video tajjeb ħafna, anke jekk qed jagħmlu movimenti diffiċli jew kumplessi. Il-ħallieqa ta 'din it-teknoloġija juru l-effettività ta' HumanRF fuq is-sett tad-dejta ActorsHQ li għadu kif ġie introdott, u juri titjib sinifikanti fuq il-metodi l-aktar avvanzati eżistenti.
Allura, kif kien possibbli li jinħoloq HumanRF u x'inhuma l-ħidma interna tiegħu?
Ħarsa ġenerali lejn il-Metodu HumanRF
Dekompożizzjoni tal-Grid tal-Karatteristiċi 4D
Id-dekompożizzjoni tal-grilja tal-karatteristiċi 4D hija komponent kritiku tal-HumanRF. Billi tgħaqqad segmenti 4D diviżorji bl-aħjar mod, dan il-metodu jimmudella xena 3D dinamika. Kull segment għandu l-grilja ta 'karatteristiċi 4D li tista' titħarreġ tagħha stess, li tikkodifika sekwenza ta 'frejms.
Biex tirrappreżenta d-dejta spazjotemporali b'mod aktar kompatt, il-gradilja tal-karatteristiċi 4D hija definita bħala dekompożizzjoni ta 'erba' grilji ta 'karatteristiċi 3D u erba' 1D. Id-dekompożizzjoni tal-grilja tal-karatteristiċi 4D tgħin lill-metodu biex jipproduċi immaġini ta 'kwalità għolja b'livell għoli ta' dettall filwaqt li jieħu inqas spazju.
Partitioning Temporal Adattiv
HumanRF juża perceptrons b'ħafna saffi baxxi bi hash-grids ta' karatteristiċi skars biex jirrendi data b'mod arbitrarju b'ħafna opinjonijiet b'mod effettiv. Grid tal-karatteristiċi 4D kompatt tintuża biex tirrappreżenta s-segmenti temporali mqassma bl-aħjar mod li jiffurmaw id-dominju tal-ħin.
Irrispettivament mill-kuntest temporali, il-metodu jikseb qawwa ta 'rappreżentazzjoni superjuri billi juża partitioning temporali adattivi biex jiżgura li l-volum totali tal-ispazju 3D kopert minn kull segment ikun ta' daqs simili. Ma jimpurtax kemm hu twil il-vidjo, il-qsim temporali adattiv jgħin fil-produzzjoni ta 'rappreżentazzjoni konsistenti.
Superviżjoni b'Telf 2D biss
L-iżbalji bejn l-immaġini RGB mogħtija u d-dħul u l-maskri tat-tagħrif miksub huma mkejla minn HumanRF bl-użu ta’ telf 2D biss li huwa sorveljat.
It-teknika tikseb konsistenza temporali billi tuża MLPs kondiviżi u dekompożizzjoni 4D, u r-riżultati huma simili ħafna għal dawk tal-aħjar daqsijiet tas-segmenti.
Il-metodu huwa aktar effettiv u aktar sempliċi biex jitħarreġ minn metodi li jużaw telf 3D minħabba li juża biss telf 2D.
Il-metodu jipproduċi riżultati li huma superjuri għal dawk ta 'metodi oħra ttestjati b'mod sperimentali, u jagħmilha strateġija promettenti għall-produzzjoni ta' immaġini ta 'atturi umani fil-moviment li huma ta' kalibru għoli.
Oqsma Possibbli ta 'Użu
It-titjib tal-Logħob tal-vidjo u r-Realtà Virtwali
Ħolqien ta' karattru virtwali f'ħin reali għal video games u l-applikazzjonijiet VR huwa possibbli ma HumanRF. Il-moviment tal-attur uman jista 'jiġi rreġistrat minn diversi angoli, u d-dejta tista' mbagħad tiġi pproċessata permezz tal-HumanRF.
Dan jippermetti żviluppaturi tal-logħob biex jinħolqu karattri li jistgħu jiċċaqilqu u jinteraġixxu mal-ambjent b'mod aktar realistiku, u jagħtu lill-plejers esperjenza aktar impenjattiva.
Motion Capture fil-Produzzjoni tal-Films
Billi tipproduċi immaġini ċari tal-moviment tal-atturi, HumanRF jista 'jtejjeb il-qbid tal-moviment fil-proċess tal-produzzjoni tal-films.
Il-produtturi tal-films jistgħu joħolqu prestazzjoni realistika u dinamika li tista 'tiġi editjata minn angoli differenti billi tuża kameras multipli biex tirreġistra l-prestazzjoni tal-attur u HumanRF biex tipproduċi rappreżentazzjoni 4D.
Dan inaqqas il-ħtieġa għal rimjiet mill-ġdid u jnaqqas l-ispejjeż tal-produzzjoni.
Titjib ta' Laqgħat Virtwali u Telekonferenzi
Billi tipproduċi mudelli 3D ta 'parteċipanti 'l bogħod f'ħin reali, HumanRF jippermetti l-ħolqien ta' immersiv u realiżmu f'laqgħat virtwali.
Parteċipanti f'laqgħat virtwali jista 'jkollhom esperjenza aktar interessanti u interattiva billi jaqbdu l-mozzjoni tal-parteċipant remot minn diversi angoli u jipproċessaw id-dejta permezz ta' HumanRF.
Barra minn hekk, HumanRF jista 'jintuża biex jinħolqu veduti ta' kwalità għolja ta 'parteċipanti remoti matul konferenzi bil-vidjo, li jwassal għal kollaborazzjoni u komunikazzjoni aħjar.
Tiffaċilita l-Edukazzjoni u t-Taħriġ
HumanRF jista 'jintuża biex jinbnew simulazzjonijiet dinamiċi u realistiċi f'ambjenti ta' taħriġ u edukattivi.
Simulazzjonijiet ta’ taħriġ li jippermettu lill-apprendisti jipprattikaw u jitgħallmu f’ambjent aktar realistiku u interessanti jistgħu jsiru billi tiġi rreġistrata l-moviment ta’ għalliema jew atturi li jwettqu kompiti partikolari u jipproċessaw id-dejta permezz ta’ HumanRF.
HumanRF, pereżempju, jista 'jintuża biex jiġu żviluppati simulazzjonijiet għas-sewqan, titjir, jew taħriġ mediku.
It-titjib tas-Sigurtà u s-Sorveljanza
F'applikazzjonijiet ta 'sorveljanza u sigurtà, HumanRF jista' jintuża biex jinħolqu mudelli 3D ta 'nies jew gruppi li huma dinamiċi u realistiċi. Il-persunal tas-sigurtà jista 'jkollu rappreżentazzjoni aktar preċiża tal-mozzjoni u l-imġieba ta' persuna billi jaqbad il-mozzjoni ta 'individwi minn opinjonijiet varji u jipproċessa d-dejta permezz ta' HumanRF.
Dan itejjeb l-identifikazzjoni u t-traċċar ta' theddid potenzjali. Il-persunal tas-sigurtà jista 'jipprattika u jipprepara għal diversi sitwazzjonijiet billi juża HumanRF biex joħloq simulazzjonijiet ta' xenarji ta 'emerġenza.
Wrap-Up, X'Isżomm il-Futur?
HumanRF huwa approċċ effettiv biex jiġġenera fehmiet uniċi ta 'kwalità għolja ta' attur uman li jiċċaqlaq. Wera riżultati promettenti f'varjetà ta 'applikazzjonijiet, inkluż qbid tal-moviment, realtà virtwali, u telepreżenza. Il-potenzjal tal-HumanRF mhuwiex limitat għal dawn l-applikazzjonijiet; hemm diversi applikazzjonijiet addizzjonali possibbli għal din it-teknoloġija.
Huwa antiċipat li jitjieb hekk kif jiżviluppa studju f'dan is-settur, li jsir aktar effiċjenti u preċiż.
Algoritmi u arkitetturi ġodda kważi ċertament se jwasslu għal modi aktar avvanzati ta' mmudellar u ritratt ta' atturi umani fil-moviment, li jistgħu jwasslu għal bosta avvanzi interessanti fl-industriji taċ-ċinema, tal-logħob u tal-komunikazzjoni.
Barra minn hekk, l-applikazzjoni ta' mudelli ta’ tagħlim profond flimkien ma' HumanRF hija direzzjoni potenzjali għal studju futur. Dan jista' jwassal għal teknoloġiji ta' analiżi u mmudellar tal-moviment tal-bniedem aktar effettivi u effiċjenti.
Barra minn hekk, il-kombinazzjoni ta’ HumanRF ma’ teknoloġiji oħra bħal sistemi ta’ feedback haptic u realtà miżjuda tista’ tagħti lok għal applikazzjonijiet ġodda fit-taħriġ mediku, l-edukazzjoni u t-terapija.
Ħalli Irrispondi