Ydych chi erioed wedi gwylio ffilm, chwarae gêm fideo, neu ddefnyddio rhith-realiti a sylwi ar unrhyw beth i ffwrdd am sut roedd cymeriadau dynol yn symud ac yn ymddangos?
Mae creu bodau dynol realistig a manwl wedi'u cynhyrchu gan gyfrifiadur wedi bod yn nod ers tro byd graffeg gyfrifiadurol ac ymchwil gweledigaeth gyfrifiadurol.
Mae adroddiadau DynolRF prosiect yn gam cyntaf cyffrous tuag at y nod hwnnw
Mae HumanRF yn gynrychiolaeth golygfa niwral ddeinamig sy'n defnyddio mewnbwn fideo aml-olwg i ddal golwg corff llawn bodau dynol yn symud. Gadewch i ni weld beth mae'n ei olygu a beth yw manteision posibl y dechnoleg hon.
Dal Perfformiad Dynol
Mae creu cynrychioliadau ffotorealistig o osodiadau rhithwir wedi bod yn broblem ers amser maith graffeg gyfrifiadurol.
Yn draddodiadol, roedd artistiaid yn cynhyrchu gwrthrychau 3D â llaw. Mae astudiaethau diweddar, fodd bynnag, wedi canolbwyntio ar ail-greu cynrychioliadau 3D o ddata'r byd go iawn.
Mae dal a syntheseiddio perfformiadau dynol realistig, yn arbennig, wedi bod yn ffocws astudio ar gyfer cymwysiadau megis cynhyrchu ffilmiau, gemau cyfrifiadurol, a thelepresenoldeb.
Cynnydd Maes Ymbelydredd Niwral Dynamig
Yn ystod y blynyddoedd diwethaf, gwnaed cynnydd aruthrol wrth fynd i'r afael â'r heriau hyn trwy ddefnyddio meysydd pelydriad niwral deinamig (NeRF). Mae NeRF yn gallu ail-greu meysydd 3D wedi'u hamgodio mewn perceptron aml-haen (MLP), gan ganiatáu ar gyfer synthesis golygfa newydd.
Er bod NeRF yn canolbwyntio i ddechrau ar olygfeydd statig, mae gwaith mwy diweddar wedi mynd i'r afael â golygfeydd deinamig gan ddefnyddio meysydd cyflyru amser neu anffurfiad. Fodd bynnag, mae'r dulliau hyn yn parhau i gael trafferth gyda dilyniannau hirach gyda mudiant cymhleth, yn enwedig o ran dal bodau dynol sy'n symud.
Datase HQ yr Actorion
Er mwyn mynd i'r afael â'r diffygion hyn, mae'r gweithwyr proffesiynol yn cynnig ActorsHQ, set ddata ffyddlondeb uchel newydd o fodau dynol dillad yn symud wedi'i optimeiddio ar gyfer synthesis golygfa nofel ffotorealistig. Mae'r set ddata yn cynnwys recordiadau aml-olygfa o 160 o gamerâu cydamserol, pob un yn dal ffrydiau fideo 12-megapixel.
Mae'r set ddata hon yn caniatáu ar gyfer creu cynrychiolaeth golygfa newydd sy'n ymestyn amgodiadau hash Instant-NGP i'r parth amserol trwy ymgorffori'r dimensiwn amser ochr yn ochr â dadelfeniad tensor gofod-amser gradd isel o'r grid nodwedd.
Cyflwyno HumanRF
Mae HumanRF yn gynrychiolaeth golygfa niwral ddeinamig 4D sy'n dal symudiad corff llawn o fewnbwn fideo aml-olwg ac yn caniatáu chwarae o safbwyntiau nas gwelwyd o'r blaen. Mae'n dechneg ar gyfer recordio fideo sy'n dal llawer o ddata tra'n cymryd ychydig iawn o le.
Mae'n cyflawni hyn trwy rannu gofod ac amser yn ddarnau llai, yn debyg i sut y gellir dadosod set Lego a'i hailosod.
Gall technoleg HumanRF ddal symudiadau pobl mewn fideo yn dda iawn, hyd yn oed os ydynt yn gwneud symudiadau anodd neu gymhleth. Mae crewyr y dechnoleg hon yn dangos effeithiolrwydd HumanRF ar y set ddata ActorsHQ sydd newydd ei chyflwyno, gan ddangos gwelliant sylweddol o'i gymharu â'r dulliau modern diweddaraf.
Felly, sut oedd hi'n bosibl creu HumanRF a beth yw ei weithrediad mewnol?
Trosolwg o'r Dull HumanRF
Dadelfeniad Grid Nodwedd 4D
Mae dadelfeniad grid nodwedd 4D yn elfen hanfodol o HumanRF. Trwy gyfuno segmentau 4D sydd wedi'u rhaniadu i'r eithaf, mae'r dull hwn yn modelu golygfa 3D deinamig. Mae gan bob segment ei grid nodwedd 4D hyfforddadwy ei hun, sy'n amgodio dilyniant o fframiau.
I gynrychioli data spatiotemporal yn fwy cryno, diffinnir y grid nodwedd 4D fel dadelfeniad o bedwar grid nodwedd 3D a phedwar grid nodwedd 1D. Mae'r dadelfeniad grid nodwedd 4D yn cynorthwyo'r dull o gynhyrchu delweddau o ansawdd uchel gyda lefel uchel o fanylion tra'n cymryd llai o le.
Rhaniad Amserol Addasol
Mae HumanRF yn defnyddio perceptronau amlhaenog bas gyda gridiau stwnsh nodwedd tenau i wneud data aml-olwg mympwyol o hir yn effeithiol. Defnyddir grid nodwedd 4D cryno i gynrychioli'r segmentau amser sydd wedi'u dosbarthu orau sy'n rhan o'r parth amser.
Waeth beth fo'r cyd-destun tymhorol, mae'r dull yn cyflawni pŵer cynrychiolaeth uwch trwy ddefnyddio rhaniad amser addasol i sicrhau bod cyfanswm cyfaint y gofod 3D a gwmpesir gan bob segment o faint tebyg. Ni waeth pa mor hir yw'r fideo, mae rhaniad amser addasol yn helpu i gynhyrchu cynrychiolaeth gyson.
Goruchwyliaeth gyda Cholledion 2D yn unig
Mae'r gwallau rhwng y delweddau RGB wedi'u rendro a'u mewnbynnu a'r masgiau blaendir yn cael eu mesur gan HumanRF gan ddefnyddio colledion 2D yn unig sy'n cael eu goruchwylio.
Mae'r dechneg yn sicrhau cysondeb amser gan ddefnyddio MLPs a rennir a dadelfeniad 4D, ac mae'r canlyniadau'n debyg iawn i'r rhai o'r meintiau segmentau gorau.
Mae'r dull yn fwy effeithiol ac yn symlach i'w hyfforddi na dulliau sy'n defnyddio colledion 3D oherwydd ei fod yn defnyddio colledion 2D yn unig.
Mae'r dull yn cynhyrchu canlyniadau sy'n well na rhai dulliau eraill a brofwyd yn arbrofol, gan ei wneud yn strategaeth addawol ar gyfer cynhyrchu delweddau o actorion dynol sy'n symud ac o safon uchel.
Meysydd Defnydd Posibl
Gwella Gemau Fideo a Realiti Rhithwir
Creu nodau rhithwir amser real ar gyfer gemau fideo a chymwysiadau VR yn bosibl gyda HumanRF. Gellir cofnodi mudiant yr actor dynol o wahanol onglau, ac yna gellir prosesu'r data trwy HumanRF.
Mae hyn yn caniatáu datblygwyr gemau i greu cymeriadau sy'n gallu symud a rhyngweithio â'r amgylchedd yn fwy realistig, gan roi profiad mwy deniadol i chwaraewyr.
Dal Cynnig mewn Cynhyrchu Ffilm
Trwy gynhyrchu delweddau clir o symudiad yr actorion, gall HumanRF wella dal symudiadau yn y broses gwneud ffilmiau.
Gall gwneuthurwyr ffilm greu perfformiad realistig a deinamig y gellir ei olygu o wahanol onglau trwy ddefnyddio camerâu lluosog i gofnodi perfformiad yr actor a HumanRF i gynhyrchu cynrychioliad 4D.
Mae hyn yn lleihau'r angen am ail-lunio ac yn lleihau costau cynhyrchu.
Gwella Cyfarfodydd Rhithwir a Thelegynadledda
Trwy gynhyrchu modelau 3D o gyfranogwyr pell mewn amser real, mae HumanRF yn galluogi creu trochi a realaeth mewn cyfarfodydd rhithwir.
Gall cyfranogwyr mewn cyfarfodydd rhithwir gael profiad mwy diddorol a rhyngweithiol trwy ddal symudiad y cyfranogwr o bell o wahanol onglau a phrosesu'r data trwy HumanRF.
Yn ogystal, gellir defnyddio HumanRF i greu golygfeydd o ansawdd uchel o gyfranogwyr o bell yn ystod fideo gynadledda, gan arwain at well cydweithio a chyfathrebu.
Hwyluso Addysg a Hyfforddiant
Gellir defnyddio HumanRF i adeiladu efelychiadau deinamig, realistig mewn amgylcheddau hyfforddi ac addysgol.
Gellir gwneud efelychiadau hyfforddi sy'n galluogi hyfforddeion i ymarfer a dysgu mewn amgylchedd mwy realistig a diddorol trwy gofnodi symudiad hyfforddwyr neu actorion sy'n cyflawni tasgau penodol a phrosesu'r data trwy HumanRF.
Gellir defnyddio HumanRF, er enghraifft, i ddatblygu efelychiadau ar gyfer gyrru, hedfan, neu hyfforddiant meddygol.
Gwella Diogelwch a Gwyliadwriaeth
Mewn cymwysiadau gwyliadwriaeth a diogelwch, gellir defnyddio HumanRF i greu modelau 3D o bobl neu grwpiau sy'n ddeinamig ac yn realistig. Gall personél diogelwch gael cynrychiolaeth fwy cywir o symudiad ac ymddygiad person trwy ddal symudiad unigolion o wahanol safbwyntiau a phrosesu'r data trwy HumanRF.
Mae hyn yn gwella'r broses o nodi ac olrhain bygythiadau posibl. Gall personél diogelwch ymarfer a pharatoi ar gyfer sefyllfaoedd amrywiol trwy ddefnyddio HumanRF i greu efelychiadau o senarios brys.
Amlapio, Beth Sydd Yn y Dyfodol?
Mae HumanRF yn ddull effeithiol o gynhyrchu golygfeydd unigryw o ansawdd uchel o actor dynol teimladwy. Mae wedi dangos canlyniadau addawol mewn amrywiaeth o gymwysiadau, gan gynnwys dal symudiadau, rhith-realiti, a thelepresenoldeb. Nid yw potensial HumanRF wedi'i gyfyngu i'r ceisiadau hyn; mae yna nifer o gymwysiadau ychwanegol posibl ar gyfer y dechnoleg hon.
Rhagwelir y bydd yn gwella wrth i astudiaeth yn y sector hwn ddatblygu, gan ddod yn fwy effeithlon a manwl gywir.
Bydd algorithmau a phensaernïaeth newydd bron yn sicr yn arwain at ffyrdd mwy datblygedig o fodelu a darlunio actorion dynol yn symud, a allai arwain at nifer o ddatblygiadau diddorol yn niwydiannau sinema, hapchwarae a chyfathrebu.
Ymhellach, mae cymhwyso modelau dysgu dwfn ynghyd â HumanRF yn gyfeiriad posibl ar gyfer astudio yn y dyfodol. Gallai hyn arwain at dechnolegau modelu a dadansoddi symudiadau dynol mwy effeithiol ac effeithlon.
At hynny, gallai cyfuno HumanRF â thechnolegau eraill fel systemau adborth haptig a realiti estynedig arwain at gymwysiadau newydd mewn hyfforddiant meddygol, addysg a therapi.
Gadael ymateb