Inoiz ikusi al duzu pelikula bat, bideo-joko batera jolastu edo errealitate birtuala erabili eta gizakien pertsonaiak nola mugitzen eta agertzen zirenez ohartu al zara?
Ordenagailuz sortutako gizaki errealistak eta zehatzak sortzea ordenagailu grafikoen eta ordenagailu bidezko ikusmenaren ikerketaren helburua da aspalditik.
The HumanRF proiektua helburu horretarako lehen urrats zirraragarria da
HumanRF eszena neuronalen irudikapen dinamiko bat da, eta ikuspegi anitzeko bideo sarrera erabiltzen du mugimenduan dauden gizakien gorputz osoko itxura harrapatzeko. Ikus dezagun zer den eta zeintzuk diren teknologia honen balizko onura.
Giza errendimendua atzematea
Ezarpen birtualen irudikapen fotorealistak sortzea arazo bat da aspaldian ordenagailu grafikoak.
Tradizionalki, artistek eskuz sortzen zituzten 3D objektuak. Azken ikerketek, ordea, mundu errealeko datuetatik 3D irudikapenak birsortzera bideratu dira.
Batez ere, giza antzezpen errealistak atzematea eta sintetizatzea izan da ikerketaren ardatza zinemaren ekoizpena, ordenagailu jokoak eta telepresentzia bezalako aplikazioetarako.
Neuronal Radiance Eremu dinamikoen aurrerapenak
Azken urteotan, aurrerapen izugarriak egin dira erronka horiei aurre egiteko, distira-eremu neuronal dinamikoak (NeRF) erabiliz. NeRF gai da geruza anitzeko perceptron (MLP) batean kodetutako 3D eremuak berreraikitzeko, ikuspegi berrien sintesia ahalbidetuz.
Hasiera batean NeRF eszena estatikoetan zentratu zen arren, azken lanek eszena dinamikoak jorratu dituzte denbora baldintzapen edo deformazio eremuak erabiliz. Hala ere, metodo hauek mugimendu konplexua duten sekuentzia luzeagoekin borrokan jarraitzen dute, batez ere mugitzen diren gizakiak harrapatzeko orduan.
ActorsHQ-ren datu-basea
Akats horiei aurre egiteko, profesionalek ActorsHQ proposatzen dute, mugimenduan dauden gizaki jantzien fideltasun handiko datu-multzo berri bat, ikuspegi fotorealista eleberrien sintesirako optimizatua. Datu multzoak sinkronizatutako 160 kameraren ikuspegi anitzeko grabazioak ditu, bakoitzak 12 megapixeleko bideo-korronteak harrapatzen ditu.
Datu-multzo honek Instant-NGP hash kodeketak denbora-domeinura hedatzen dituen eszenaren irudikapen berri bat sortzea ahalbidetzen du, denbora-dimentsioa ezaugarri-sarearen maila baxuko espazio-denbora tentsorearen deskonposizioarekin batera sartuz.
HumanRF aurkezten
HumanRF 4D-ko eszena neuronal dinamikoa da, gorputz osoko mugimendua atzematen duena ikuspegi anitzeko bideo sarreratik eta aurrez ikusi gabeko ikuspegietatik erreproduzitzea ahalbidetzen duena. Bideoa grabatzeko teknika bat da, datu asko hartzen dituen bitartean oso leku gutxi hartzen duena.
Espazioa eta denbora zati txikiagotan zatituz lortzen du hori, Lego multzo bat desmuntatu eta berriro muntatu daitekeen antzera.
HumanRF teknologiak jendearen mugimenduak oso ondo har ditzake bideo batean, nahiz eta mugimendu zailak edo konplexuak egiten ari diren. Teknologia honen sortzaileek ActorsHQ datu-multzoan aurkeztu berri den ActorsHQ datu-multzoan HumanRF-en eraginkortasuna frogatzen dute, egungo egungo metodoen aurrean hobekuntza nabarmena erakutsiz.
Beraz, nola izan zen posible HumanRF sortzea eta zeintzuk dira bere barne funtzionamendua?
HumanRF metodoaren ikuspegi orokorra
4D Ezaugarrien Sarearen deskonposizioa
4D ezaugarri-sarearen deskonposizioa HumanRF-ren osagai kritikoa da. Modu optimoan banatutako 4D segmentuak konbinatuz, metodo honek 3D eszena dinamiko bat modelatzen du. Segmentu bakoitzak bere trebakuntzarako 4D ezaugarrien sareta du, fotograma-sekuentzia bat kodetzen duena.
Datu espazio-denporalak trinkoago irudikatzeko, 4D ezaugarri-sareta lau 3D eta lau 1D ezaugarri-sareen deskonposizio gisa definitzen da. 4D ezaugarri-sarearen deskonposizioak metodoari kalitate handiko irudiak ekoizten laguntzen dio xehetasun-maila handikoak, espazio gutxiago hartzen duen bitartean.
Partizio Temporal Egokigarria
HumanRF-k geruza anitzeko pertzeptron txikiak erabiltzen ditu ezaugarri hash-sare urriak dituztenak, ikuspegi anitzeko datuak modu eraginkorrean errendatzeko. 4D ezaugarri-sare trinko bat erabiltzen da denbora-domeinua osatzen duten denbora-segmentu egokien banatuta irudikatzeko.
Denbora-testuingurua edozein dela ere, metodoak errepresentazio-ahalmen handiagoa lortzen du denbora-partizio moldagarria erabiliz, segmentu bakoitzak estalitako 3D espazio-bolumen osoa antzeko tamainakoa dela ziurtatzeko. Bideoa zenbaterainokoa den ere, denborazko zatiketa moldagarriak irudikapen koherentea sortzen laguntzen du.
Gainbegiratzea 2D-ko galerekin soilik
Errendatutako eta sarrerako RGB irudien eta lehen planoko maskaren arteko erroreak HumanRF-k neurtzen ditu gainbegiratzen diren 2D-ko galerak erabiliz.
Teknikak denborazko koherentzia lortzen du partekatutako MLPak eta 4D deskonposizioak erabiliz, eta emaitzak segmentu-tamaina onenenekin oso antzekoak dira.
Metodoa eraginkorragoa eta errazagoa da entrenatzeko 3D galerak erabiltzen dituzten metodoak baino, 2D galerak soilik erabiltzen dituelako.
Metodoak esperimentalki probatutako beste metodo batzuen emaitzak baino handiagoak sortzen ditu, eta estrategia itxaropentsua da mugimenduan dauden giza aktoreen irudiak ekoizteko kalibre handikoak.
Erabilera-eremu posibleak
Bideo-jokoak eta errealitate birtuala hobetzea
Denbora errealeko pertsonaia birtualak sortzeko bideo-jokoak eta VR aplikazioak HumanRF-rekin posible dira. Giza aktorearen mugimendua hainbat angelutatik graba daiteke, eta datuak HumanRF bidez prozesatu daitezke.
Horrek aukera ematen du joko garatzaileak ingurunearekin modu errealistagoan mugitu eta elkarreragin dezaketen pertsonaiak sortzeko, jokalariei esperientzia erakargarriagoa emanez.
Motion Capture zinemagintzan
Aktoreen mugimenduaren irudi argiak ekoiztuz, HumanRF-k zinemagintzako prozesuan mugimendua harrapatzea hobetu dezake.
Zinemagileek angelu ezberdinetatik editatu daitekeen emanaldi errealista eta dinamikoa sor dezakete, hainbat kamera erabiliz aktorearen antzezpena grabatzeko eta HumanRF 4D irudikapen bat sortzeko.
Horrek birsortzeko beharra murrizten du eta ekoizpen kostuak murrizten ditu.
Bilera Birtualak eta Telekonferentziak hobetzea
Urrutiko parte-hartzaileen 3D ereduak denbora errealean ekoiztuz, HumanRF-k bilera birtualetan murgiltze eta errealismoa sortzea ahalbidetzen du.
Bilera birtualetako parte-hartzaileek esperientzia interesgarriagoa eta interaktiboagoa izan dezakete urruneko parte-hartzailearen mugimendua hainbat angelutatik hartuz eta datuak HumanRF bidez prozesatzen.
Gainera, HumanRF erabil daiteke urruneko parte-hartzaileen kalitate handiko ikuspegiak sortzeko Bideo konferentziak, lankidetza eta komunikazio hobea lortzeko.
Hezkuntza eta Prestakuntza erraztea
HumanRF erabil daiteke prestakuntza- eta hezkuntza-inguruneetan simulazio dinamiko eta errealistak eraikitzeko.
Prestakuntza-simulazioak ingurune errealistago eta interesgarriago batean praktikatu eta ikastea ahalbidetzen duten prestakuntza-simulazioak egin daitezke zeregin jakinak egiten dituzten irakasleen edo aktoreen mugimendua erregistratuz eta datuak HumanRF bidez prozesatzen.
HumanRF, adibidez, gidatzeko, hegaldietarako edo mediku prestakuntzarako simulazioak garatzeko erabil daiteke.
Segurtasuna eta Zaintza hobetzea
Zaintza eta segurtasun aplikazioetan, HumanRF erabil daiteke dinamikoak eta errealistak diren pertsonen edo taldeen 3D ereduak sortzeko. Segurtasun-langileek pertsona baten mugimenduaren eta portaeraren irudikapen zehatzagoa izan dezakete hainbat ikuspuntutatik gizabanakoen mugimendua atzeman eta HumanRF bidez datuak prozesatzeko.
Horrek mehatxu potentzialen identifikazioa eta jarraipena hobetzen ditu. Segurtasun-langileek hainbat egoeratarako praktikatu eta prest egon daitezke HumanRF erabiliz larrialdi-egoeren simulazioak sortzeko.
Bukatzea, zer gordetzen du etorkizunak?
HumanRF hurbilketa eraginkorra da mugitzen ari den giza aktore baten kalitate handiko ikuspegi bereziak sortzeko. Emaitza itxaropentsuak erakutsi ditu hainbat aplikaziotan, besteak beste, motion capture, errealitate birtuala eta telepresentzia. HumanRF-en potentziala ez da aplikazio horietara mugatzen; teknologia honetarako hainbat aplikazio posible gehigarri daude.
Sektore honetako azterketa bat garatu ahala hobetzea aurreikusten da, eraginkorragoa eta zehatzagoa bihurtuz.
Algoritmo eta arkitektura berriek, ziur asko, mugimenduan dauden giza aktoreak modelatzeko eta irudikatzeko modu aurreratuagoak ekarriko dituzte, eta horrek aurrerapen interesgarri ugari ekar ditzake zinemaren, jokoen eta komunikazioaren industrietan.
Gainera, aplikazioa deep learning ereduak HumanRFrekin batera etorkizuneko azterketarako norabide potentziala da. Horrek giza mugimenduaren analisi eta modelizazio teknologia eraginkorragoak eta eraginkorragoak ekar ditzake.
Gainera, HumanRF beste teknologia batzuekin konbinatuz, esaterako, feedback sistemak eta errealitate areagotua aplikazio berriak sor ditzake medikuntzako prestakuntzan, hezkuntzan eta terapian.
Utzi erantzun bat