Նյարդային մատուցումը խորը ուսուցման մեջ առաջացող տեխնիկա է, որի նպատակն է ընդլայնել համակարգչային գրաֆիկայի դասական խողովակաշարը նեյրոնային ցանցերով:
Նյարդային վերարտադրման ալգորիթմը կպահանջի մի շարք պատկերներ, որոնք ներկայացնում են նույն տեսարանի տարբեր անկյունները: Այս պատկերներն այնուհետև կներդրվեն նեյրոնային ցանց՝ ստեղծելու մոդել, որը կարող է նույն տեսարանի նոր անկյուններ դուրս բերել:
Նյարդային վերարտադրության փայլը կայանում է նրանում, թե ինչպես է այն ճշգրիտ կերպով վերստեղծում մանրամասն ֆոտոռեալիստական տեսարաններ՝ առանց ապավինելու դասական մեթոդներին, որոնք կարող են ավելի պահանջկոտ լինել հաշվողական առումով:
Նախքան նեյրոնային վերարտադրման գործընթացի մասին խորամուխ լինելը, եկեք անդրադառնանք դասական մատուցման հիմունքներին:
Ի՞նչ է դասական մատուցումը:
Եկեք նախ հասկանանք դասական մատուցման մեջ օգտագործվող բնորոշ մեթոդները:
Դասական մատուցումը վերաբերում է տեխնիկայի մի շարքին, որոնք օգտագործվում են եռաչափ տեսարանի 2D պատկեր ստեղծելու համար: Նաև հայտնի է որպես պատկերների սինթեզ, դասական արտապատկերումն օգտագործում է տարբեր ալգորիթմներ՝ մոդելավորելու համար, թե ինչպես է լույսը փոխազդում տարբեր տեսակի օբյեկտների հետ:
Օրինակ, պինդ աղյուսի պատրաստման համար կպահանջվի ալգորիթմների որոշակի շարք՝ որոշելու ստվերի դիրքը կամ թե որքան լավ լուսավորված կլինի պատի երկու կողմերը: Նմանապես, առարկաները, որոնք արտացոլում կամ բեկում են լույսը, ինչպիսիք են հայելին, փայլուն առարկան կամ ջրային մարմինը, նույնպես կպահանջեն իրենց սեփական տեխնիկան:
Դասական մատուցման մեջ յուրաքանչյուր ակտիվ ներկայացված է բազմանկյուն ցանցով: Շեյդեր ծրագիրն այնուհետև կօգտագործի պոլիգոնը որպես մուտքագրում՝ որոշելու, թե օբյեկտը ինչպիսի տեսք կունենա՝ հաշվի առնելով նշված լուսավորությունը և անկյունը:
Իրատեսական արտապատկերումը կպահանջի շատ ավելի շատ հաշվողական հզորություն, քանի որ մեր ակտիվներն ի վերջո ունենում են միլիոնավոր պոլիգոններ՝ որպես մուտքագրում օգտագործելու համար: Հոլիվուդյան բլոքբասթերներում տարածված համակարգչային արդյունահանումը սովորաբար տևում է շաբաթներ կամ նույնիսկ ամիսներ և կարող է արժենալ միլիոնավոր դոլարներ:
Ճառագայթների հետագծման մոտեցումը հատկապես ծախսատար է, քանի որ վերջնական պատկերի յուրաքանչյուր պիքսել պահանջում է հաշվարկել լույսի լույսի աղբյուրից դեպի օբյեկտ և տեսախցիկ տանող ճանապարհը:
Սարքավորումների առաջխաղացումները օգտատերերի համար շատ ավելի հասանելի են դարձրել գրաֆիկայի մատուցումը: Օրինակ՝ ամենավերջիններից շատերը Տեսախաղեր թույլ են տալիս ճառագայթներով հետևող էֆեկտներ, ինչպիսիք են ֆոտոռեալիստական արտացոլումները և ստվերները, քանի դեռ դրանց սարքավորումը համապատասխանում է առաջադրանքին:
Վերջին GPU-ները (գրաֆիկական մշակման միավորները) ստեղծվել են հատուկ, որպեսզի օգնեն պրոցեսորին կատարել շատ բարդ հաշվարկներ, որոնք անհրաժեշտ են ֆոտոռեալիստական գրաֆիկա ներկայացնելու համար:
Նյարդային վերարտադրության բարձրացումը
Նյարդային ռենդերինգը փորձում է այլ կերպ լուծել վերարտադրության խնդիրը: Ալգորիթմներ օգտագործելու փոխարեն՝ մոդելավորելու համար, թե ինչպես է լույսը փոխազդում առարկաների հետ, ի՞նչ կլիներ, եթե մենք ստեղծեինք մոդել, որը սովորում է, թե տեսարանն ինչպես պետք է նայվի որոշակի տեսանկյունից:
Դուք կարող եք դա համարել որպես ֆոտոռեալիստական տեսարաններ ստեղծելու դյուրանցում: Նյարդային վերարտադրման դեպքում մենք կարիք չունենք հաշվարկելու, թե ինչպես է լույսը փոխազդում օբյեկտի հետ, մեզ պարզապես անհրաժեշտ է բավականաչափ ուսումնական տվյալներ:
Այս մոտեցումը թույլ է տալիս հետազոտողներին ստեղծել բարդ տեսարանների բարձրորակ նկարազարդումներ՝ առանց կատարման
Որոնք են նյարդային դաշտերը:
Ինչպես նշվեց ավելի վաղ, 3D ռենդերների մեծ մասը օգտագործում է բազմանկյուն ցանցեր՝ յուրաքանչյուր օբյեկտի ձևի և հյուսվածքի վերաբերյալ տվյալներ պահելու համար:
Այնուամենայնիվ, նյարդային դաշտերը դառնում են ժողովրդականություն՝ որպես եռաչափ օբյեկտների ներկայացման այլընտրանքային մեթոդ: Ի տարբերություն բազմանկյուն ցանցերի, նեյրոնային դաշտերը տարբերվող են և շարունակական։
Ի՞նչ նկատի ունենք, երբ ասում ենք, որ նյարդային դաշտերը տարբերվում են:
Նյարդային դաշտից 2D ելքը այժմ կարող է վերապատրաստվել ֆոտոռեալիստական դառնալու համար՝ պարզապես կարգավորելով նեյրոնային ցանցի կշիռները:
Օգտագործելով նեյրոնային դաշտերը՝ մենք այլևս կարիք չունենք նմանակելու լույսի ֆիզիկան՝ տեսարան ցուցադրելու համար: Գիտելիքն այն մասին, թե ինչպես է լուսավորվելու վերջնական ռենդերը, այժմ անուղղակիորեն պահվում է մեր կշիռների ներսում նյարդային ցանց.
Սա թույլ է տալիս մեզ համեմատաբար արագ ստեղծել նոր պատկերներ և տեսանյութեր ընդամենը մի քանի լուսանկարներից կամ տեսանյութերից:
Ինչպե՞ս մարզել նյարդային դաշտը:
Այժմ, երբ մենք գիտենք, թե ինչպես է գործում նեյրոնային դաշտը, եկեք տեսնենք, թե ինչպես են հետազոտողները կարողանում վարժեցնել նյարդային ճառագայթման դաշտը կամ Ներֆ.
Նախ, մենք պետք է նմուշառենք տեսարանի պատահական կոորդինատները և դրանք ներդնենք նեյրոնային ցանցի մեջ: Այդ ցանցն այնուհետև կկարողանա դաշտային քանակություններ արտադրել:
Արտադրված դաշտերի քանակները համարվում են նմուշներ այն տեսարանի վերակառուցման ցանկալի տիրույթից, որը մենք ցանկանում ենք ստեղծել:
Այնուհետև մենք պետք է քարտեզագրենք վերակառուցումը իրական 2D պատկերների վրա: Այնուհետև ալգորիթմը կհաշվի վերակառուցման սխալը: Այս սխալը կուղղորդի նեյրոնային ցանցին օպտիմիզացնելու տեսարանը վերակառուցելու իր կարողությունը:
Նյարդային վերարտադրության կիրառությունները
Վեպի տեսքի սինթեզ
Նոր հայացքների սինթեզը վերաբերում է տեսախցիկի տեսանկյունների ստեղծմանը նոր տեսանկյուններից՝ օգտագործելով սահմանափակ թվով տեսանկյուններից ստացված տվյալներ:
Նյարդային վերարտադրման տեխնիկան փորձում է գուշակել տեսախցիկի հարաբերական դիրքը տվյալների հավաքածուի յուրաքանչյուր պատկերի համար և այդ տվյալները փոխանցել նեյրոնային ցանցին:
Այնուհետև նեյրոնային ցանցը կստեղծի տեսարանի 3D պատկեր, որտեղ 3D տարածության յուրաքանչյուր կետ ունի համապատասխան գույն և խտություն:
NeRF-ների նոր ներդրում Google Street View օգտագործում է նոր տեսքի սինթեզ՝ օգտատերերին թույլ տալու համար ուսումնասիրել իրական աշխարհի վայրերը, կարծես տեսանկարահանող տեսախցիկը կառավարում է: Սա թույլ է տալիս զբոսաշրջիկներին ուսումնասիրել ուղղություններն ընկղմված ձևով, նախքան կոնկրետ վայր մեկնելու որոշում կայացնելը:
Ֆոտո-իրատեսական ավատարներ
Նյարդային վերարտադրության առաջադեմ տեխնիկան կարող է նաև ճանապարհ հարթել ավելի իրատեսական թվային ավատարների համար: Այս ավատարներն այնուհետև կարող են օգտագործվել տարբեր դերերի համար, ինչպիսիք են վիրտուալ օգնականները կամ հաճախորդների սպասարկումը, կամ որպես օգտատերերի համար իրենց նմանությունը տեղադրելու միջոց Video խաղ կամ մոդելավորված ռենդեր:
Օրինակ, թուղթ 2023 թվականի մարտին հրապարակված առաջարկում է օգտագործել նեյրոնային վերարտադրության տեխնիկա՝ մի քանի րոպե տեսագրությունից հետո ֆոտոռեալիստական ավատար ստեղծելու համար:
Եզրափակում
Նյարդային արտապատկերումը հետաքրքիր ուսումնասիրության ոլորտ է, որն ունի համակարգչային գրաֆիկայի ողջ արդյունաբերությունը փոխելու ներուժ:
Տեխնոլոգիան կարող է նվազեցնել 3D ակտիվների ստեղծման մուտքի արգելքը: Վիզուալ էֆեկտների թիմերն այլևս ստիպված չեն լինի սպասել օրեր՝ մի քանի րոպե ֆոտոռեալիստական գրաֆիկա ներկայացնելու համար:
Տեխնոլոգիայի համատեղումը գոյություն ունեցող VR և AR հավելվածների հետ կարող է նաև թույլ տալ ծրագրավորողներին ստեղծել ավելի խորը փորձառություններ:
Ի՞նչ եք կարծում, ո՞րն է նեյրոնային վերարտադրության իրական ներուժը:
Թողնել գրառում