Երբևէ դիտե՞լ եք ֆիլմ, խաղացե՞լ եք տեսախաղ կամ օգտվել վիրտուալ իրականությունից և նկատե՞լ եք որևէ բան այն մասին, թե ինչպես են մարդկային կերպարները շարժվել և հայտնվել:
Համակարգչով ստեղծված իրատեսական և մանրամասն մարդկանց ստեղծումը վաղուց եղել է համակարգչային գրաֆիկայի և համակարգչային տեսողության հետազոտության նպատակը:
The HumanRF նախագիծը առաջին հուզիչ քայլն է դեպի այդ նպատակը
HumanRF-ը դինամիկ նյարդային տեսարանի ներկայացում է, որն օգտագործում է բազմատեսակ տեսահոլովակի մուտքագրում` շարժման մեջ գտնվող մարդկանց ամբողջ մարմնի տեսքը գրավելու համար: Տեսնենք, թե ինչի մասին է խոսքը և որո՞նք են այս տեխնոլոգիայի հնարավոր առավելությունները:
Մարդկային կատարողականի գրավում
Վիրտուալ կարգավորումների ֆոտոռեալիստական ներկայացումների ստեղծումը վաղուց խնդիր է համակարգչային գրաֆիկա.
Ավանդաբար նկարիչները ձեռքով ստեղծեցին 3D առարկաներ: Վերջին ուսումնասիրությունները, սակայն, կենտրոնացել են իրական աշխարհի տվյալներից 3D պատկերների վերստեղծման վրա:
Մարդկային ռեալիստական ներկայացումների ֆիքսումն ու սինթեզումը, մասնավորապես, եղել են այնպիսի ծրագրերի ուսումնասիրության կենտրոնում, ինչպիսիք են ֆիլմարտադրությունը, համակարգչային խաղերը և հեռաներկայությունը:
Դինամիկ նեյրոնային ճառագայթման դաշտի առաջխաղացում
Վերջին տարիներին հսկայական առաջընթաց է գրանցվել այս մարտահրավերներին դիմակայելու հարցում՝ օգտագործելով դինամիկ նեյրոնային ճառագայթման դաշտերը (NeRF): NeRF-ն ի վիճակի է վերականգնել 3D դաշտերը, որոնք կոդավորված են բազմաշերտ պերցեպտրոնով (MLP)՝ թույլ տալով նորովի դիտման սինթեզ:
Թեև NeRF-ն ի սկզբանե կենտրոնացած էր ստատիկ տեսարանների վրա, վերջին աշխատանքն անդրադարձել է դինամիկ տեսարաններին՝ օգտագործելով ժամանակի պայմանավորվածություն կամ դեֆորմացիայի դաշտեր: Այնուամենայնիվ, այս մեթոդները շարունակում են պայքարել բարդ շարժումներով ավելի երկար հաջորդականությունների դեմ, հատկապես երբ խոսքը վերաբերում է շարժվող մարդկանց բռնելուն:
ActorsHQ's Datase
Այս թերությունները վերացնելու համար մասնագետներն առաջարկում են ActorsHQ-ն՝ հագուստով մարդկանց շարժման մեջ գտնվող բարձր հավատարմության տվյալների հավաքածու, որը օպտիմիզացված է ֆոտոռեալիստական նոր տեսքի սինթեզի համար: Տվյալների հավաքածուն պարունակում է 160 համաժամացված տեսախցիկների բազմատեսակ ձայնագրություններ, որոնցից յուրաքանչյուրը ֆիքսում է 12 մեգապիքսելանոց տեսահոսքեր:
Այս տվյալների հավաքածուն թույլ է տալիս ստեղծել տեսարանի նոր ներկայացում, որը ընդլայնում է Instant-NGP հեշ կոդավորումները դեպի ժամանակային տիրույթ՝ ներառելով ժամանակի չափումը հատկանիշի ցանցի ցածր աստիճանի տարածություն-ժամանակի տենզորի տարրալուծման կողքին:
Ներկայացնելով HumanRF-ը
HumanRF-ը 4D դինամիկ նյարդային տեսարանի ներկայացում է, որը ֆիքսում է ամբողջ մարմնի շարժումը բազմատեսակ տեսահոլովակի մուտքագրումից և թույլ է տալիս նվագարկել նախկինում չտեսնված տեսանկյուններից: Դա տեսագրման տեխնիկա է, որը շատ տվյալներ է գրավում՝ միաժամանակ շատ քիչ տեղ գրավելով:
Այն հասնում է դրան՝ բաժանելով տարածությունն ու ժամանակը փոքր մասերի, ինչպես կարելի է ապամոնտաժել և հավաքել Lego հավաքածուն:
HumanRF տեխնոլոգիան կարող է շատ լավ ֆիքսել մարդկանց շարժումները տեսանյութում, նույնիսկ եթե նրանք դժվար կամ բարդ շարժումներ են անում: Այս տեխնոլոգիայի ստեղծողները ցուցադրում են HumanRF-ի արդյունավետությունը նոր ներդրված ActorsHQ տվյալների բազայի վրա՝ ցույց տալով զգալի բարելավում առկա ժամանակակից մեթոդների նկատմամբ:
Այսպիսով, ինչպե՞ս հնարավոր եղավ ստեղծել HumanRF-ը և ինչպիսի՞ն է դրա ներքին աշխատանքը:
HumanRF մեթոդի ակնարկ
4D խաղարկային ցանցի տարրալուծում
4D առանձնահատկությունների ցանցի տարրալուծումը HumanRF-ի կարևոր բաղադրիչն է: Օպտիմալ բաժանված 4D հատվածները համատեղելով՝ այս մեթոդը մոդելավորում է դինամիկ 3D տեսարան: Յուրաքանչյուր հատված ունի իր վարժեցվող 4D հնարավորությունների ցանցը, որը կոդավորում է շրջանակների հաջորդականությունը:
Տարածական ժամանակային տվյալներն ավելի կոմպակտ ներկայացնելու համար 4D առանձնահատկությունների ցանցը սահմանվում է որպես չորս 3D և չորս 1D առանձնահատկությունների ցանցերի տարրալուծում: 4D առանձնահատկությունների ցանցի տարրալուծումը օգնում է մեթոդին ստեղծել բարձրորակ պատկերներ՝ բարձր դետալներով՝ միաժամանակ ավելի քիչ տեղ գրավելով:
Հարմարվողական ժամանակային բաժանում
HumanRF-ն օգտագործում է մակերեսային բազմաշերտ պերցեպտրոններ՝ հազվագյուտ հաշ-ցանցերով՝ կամայականորեն երկար բազմատեսակ տվյալների արդյունավետ մատուցման համար: Կոմպակտ 4D առանձնահատկությունների ցանցը օգտագործվում է ներկայացնելու օպտիմալ բաշխված ժամանակային հատվածները, որոնք կազմում են ժամանակի տիրույթը:
Անկախ ժամանակային համատեքստից, մեթոդը ձեռք է բերում ավելի բարձր ներկայացուցչական հզորություն՝ օգտագործելով հարմարվողական ժամանակային բաժանում, որպեսզի ապահովի, որ յուրաքանչյուր հատվածով ծածկված ընդհանուր 3D տարածության ծավալը նույն չափի է: Անկախ նրանից, թե որքան երկար է տեսանյութը, հարմարվողական ժամանակային բաժանումը օգնում է հետևողական ներկայացում ստեղծելուն:
Վերահսկում միայն 2D-կորուստներով
Ներկայացված և մուտքագրված RGB պատկերների և առաջին պլանի դիմակների միջև եղած սխալները չափվում են HumanRF-ի կողմից՝ օգտագործելով միայն 2D կորուստները, որոնք վերահսկվում են:
Տեխնիկան հասնում է ժամանակային հետևողականության՝ օգտագործելով ընդհանուր MLP-ները և 4D տարրալուծումը, և արդյունքները շատ նման են հատվածների լավագույն չափերի արդյունքներին:
Մեթոդն ավելի արդյունավետ է և ավելի պարզ, քան այն մեթոդները, որոնք օգտագործում են 3D կորուստներ, քանի որ այն օգտագործում է միայն 2D կորուստներ:
Մեթոդը տալիս է արդյունքներ, որոնք գերազանցում են այլ փորձարարական փորձարկված մեթոդներին, ինչը խոստումնալից ռազմավարություն է դարձնում շարժման մեջ գտնվող մարդկային դերակատարների բարձր տրամաչափի պատկերներ ստեղծելու համար:
Օգտագործման հնարավոր ոլորտները
Տեսախաղերի և վիրտուալ իրականության բարելավում
Իրական ժամանակում վիրտուալ կերպարների ստեղծում Տեսախաղեր և VR հավելվածները հնարավոր են HumanRF-ի միջոցով: Մարդու դերակատարի շարժումը կարելի է գրանցել տարբեր տեսանկյուններից, իսկ տվյալները կարող են մշակվել HumanRF-ի միջոցով:
Սա թույլ է տալիս խաղ մշակողները ստեղծել կերպարներ, որոնք կարող են ավելի իրատեսորեն շարժվել և շփվել շրջակա միջավայրի հետ՝ խաղացողներին տալով ավելի գրավիչ փորձ:
Motion Capture կինոարտադրության մեջ
Դերասանների շարժման հստակ պատկերներ ստեղծելով՝ HumanRF-ը կարող է ուժեղացնել շարժման նկարահանումը ֆիլմերի ստեղծման գործընթացում:
Կինոռեժիսորները կարող են ստեղծել իրատեսական և դինամիկ ներկայացում, որը կարելի է խմբագրել տարբեր տեսանկյուններից՝ օգտագործելով բազմաթիվ տեսախցիկներ՝ դերասանի խաղը ձայնագրելու համար, իսկ HumanRF՝ 4D ներկայացում ստեղծելու համար:
Սա նվազեցնում է վերանկարահանումների անհրաժեշտությունը և նվազեցնում արտադրության ծախսերը:
Վիրտուալ հանդիպումների և հեռակոնֆերանսների ընդլայնում
Իրական ժամանակում հեռահար մասնակիցների 3D մոդելներ արտադրելով՝ HumanRF-ը հնարավորություն է տալիս վիրտուալ հանդիպումներում ներթափանցող և ռեալիզմ ստեղծել:
Վիրտուալ հանդիպումների մասնակիցները կարող են ունենալ ավելի հետաքրքիր և ինտերակտիվ փորձ՝ ֆիքսելով հեռավոր մասնակցի շարժումը տարբեր տեսանկյուններից և մշակելով տվյալները HumanRF-ի միջոցով:
Բացի այդ, HumanRF-ը կարող է օգտագործվել հեռավոր մասնակիցների բարձրորակ դիտումներ ստեղծելու համար վիդեո կոնֆերանսներ, ինչը հանգեցնում է ավելի լավ համագործակցության և հաղորդակցության:
Կրթության և ուսուցման խթանում
HumanRF-ը կարող է օգտագործվել վերապատրաստման և կրթական միջավայրերում դինամիկ, իրատեսական սիմուլյացիաներ ստեղծելու համար:
Ուսուցման սիմուլյացիաներ, որոնք հնարավորություն են տալիս վերապատրաստվողներին զբաղվել և սովորել ավելի իրատեսական և հետաքրքիր միջավայրում, կարող են իրականացվել՝ գրանցելով հրահանգիչների կամ դերակատարների շարժումները, որոնք կատարում են որոշակի առաջադրանքներ և մշակելով տվյալները HumanRF-ի միջոցով:
HumanRF-ը, օրինակ, կարող է օգտագործվել վարելու, թռիչքի կամ բժշկական ուսուցման սիմուլյացիաներ մշակելու համար:
Անվտանգության և հսկողության բարձրացում
Հսկողության և անվտանգության ծրագրերում HumanRF-ը կարող է օգտագործվել մարդկանց կամ խմբերի 3D մոդելներ ստեղծելու համար, որոնք դինամիկ և իրատեսական են: Անվտանգության անձնակազմը կարող է ավելի ճշգրիտ ներկայացնել մարդու շարժումը և վարքագիծը՝ տարբեր տեսակետներից ֆիքսելով անհատների շարժումը և մշակելով տվյալները HumanRF-ի միջոցով:
Սա բարելավում է հնարավոր սպառնալիքների նույնականացումը և հետևելը: Անվտանգության անձնակազմը կարող է վարժվել և պատրաստվել տարբեր իրավիճակների՝ օգտագործելով HumanRF-ը՝ արտակարգ իրավիճակների սցենարների սիմուլյացիաներ ստեղծելու համար:
Ամփոփում, ի՞նչ է սպասվում ապագայում:
HumanRF-ը արդյունավետ մոտեցում է շարժվող մարդկային դերակատարի բարձրորակ եզակի տեսարաններ ստեղծելու համար: Այն խոստումնալից արդյունքներ է ցույց տվել մի շարք ծրագրերում, ներառյալ շարժման գրավումը, վիրտուալ իրականությունը և հեռաներկայությունը: HumanRF-ի ներուժը չի սահմանափակվում այս հավելվածներով. այս տեխնոլոգիայի համար կան մի քանի լրացուցիչ հնարավոր կիրառություններ:
Ակնկալվում է, որ այն կբարելավվի, քանի որ այս ոլորտում ուսումնասիրությունները զարգանում են՝ դառնալով ավելի արդյունավետ և ճշգրիտ:
Նոր ալգորիթմներն ու ճարտարապետությունները գրեթե անկասկած կհանգեցնեն շարժման մեջ մարդկային դերասանների մոդելավորման և պատկերման ավելի առաջադեմ եղանակների, ինչը կարող է հանգեցնել բազմաթիվ հետաքրքիր առաջընթացների կինոյի, խաղերի և հաղորդակցության ոլորտներում:
Ավելին, կիրառումը խորը ուսուցման մոդելներ HumanRF-ի հետ միասին ապագա ուսումնասիրության պոտենցիալ ուղղություն է: Սա կարող է հանգեցնել մարդու շարժման վերլուծության և մոդելավորման ավելի արդյունավետ և արդյունավետ տեխնոլոգիաների:
Ավելին, HumanRF-ի համատեղումը այլ տեխնոլոգիաների հետ, ինչպիսիք են հապտիկ հետադարձ կապի համակարգերը և ընդլայնված իրականությունը, կարող են նոր կիրառումներ առաջացնել բժշկական ուսուցման, կրթության և թերապիայի ոլորտում:
Թողնել գրառում