Ħej, kont taf, li tista' tinħoloq xena 3D minn inputs ta' data 2D f'sekondi bil-mudell ta' rendering newrali Instant NeRF ta' NVIDIA, u ritratti ta' dik ix-xena jistgħu jiġu mogħtija f'millisekondi?
Huwa possibbli li tikkonverti malajr kollezzjoni ta' ritratti fissi f'ambjent 3D diġitali bl-użu tat-teknika magħrufa bħala rendering invers, li tippermetti lill-AI biex timita kif jaħdem id-dawl fid-dinja attwali.
Huwa wieħed mill-ewwel mudelli tat-tip tiegħu li jista 'jgħaqqad taħriġ tan-netwerk newrali ultra-veloċi u rendering malajr, grazzi għal teknika li t-tim ta' riċerka ta 'NVIDIA ħejja li tlesti l-operazzjoni oerhört malajr - kważi istantanjament.
Dan l-artikolu se jeżamina n-NeRF ta 'NVIDIA fil-fond, inklużi l-veloċità tiegħu, il-każijiet ta' użu, u fatturi oħra.
Allura, x'inhu NeRF?
NeRF tirreferi għal oqsma ta 'radjanza newrali, li tirreferi għal teknika għall-ħolqien ta' veduti uniċi ta 'xeni kkumplikati billi tirfina funzjoni ta' xena volumetrika kontinwa sottostanti bl-użu ta 'numru żgħir ta' fehmiet ta 'input.
Meta jingħata ġabra ta 'ritratti 2D bħala input, in-NeRFs ta' NVIDIA jimpjegaw netwerks newrali biex tirrappreżenta u tiġġenera xeni 3D.
Għadd żgħir ta 'ritratti minn angoli varji madwar iż-żona huma meħtieġa għall- newrali netwerk, flimkien mal-post tal-kamera f'kull frejm.
Aktar ma jittieħdu malajr dawn l-istampi, aħjar, speċjalment f'xeni b'atturi jew oġġetti li jiċċaqalqu.
Ix-xena 3D iġġenerata mill-AI tiġi mċappsa jekk ikun hemm wisq moviment waqt il-proċedura tal-qbid tal-istampa 2D.
Billi tbassar il-kulur tad-dawl li joħroġ f'kull direzzjoni minn kwalunkwe post fl-ambjent 3D, in-NeRF effettivament jimla l-vojt li tħalli din id-dejta biex jibni l-immaġni kollha.
Peress li NeRF jista 'jiġġenera xena 3D fi ftit millisekondi wara li jirċievi l-inputs xierqa, huwa l-aktar approċċ NeRF s'issa.
NeRF jaħdem tant malajr li huwa prattikament istantanju, għalhekk ismu. Jekk rappreżentazzjonijiet 3D standard bħal malji poligonali huma stampi vettoriali, in-NeRFs huma immaġini bitmap: jaqbdu b'mod dens il-mod kif id-dawl joħroġ minn oġġett jew ġewwa xena.
NeRF Instant huwa essenzjali għat-3D peress li l-kameras diġitali u l-kompressjoni JPEG kienu għall-fotografija 2D, u tejbu b'mod drammatiku l-veloċità, il-konvenjenza u l-firxa tal-qbid u l-qsim 3D.
Instant NeRF jista 'jintuża biex jipproduċi avatars jew saħansitra xenarji sħaħ għal dinjiet virtwali.
Biex jagħti ġieħ lill-ewwel jiem tar-ritratti tal-Polaroid, it-tim tar-Riċerka ta’ NVIDIA ħoloq mill-ġdid tir famuż ta’ Andy Warhol li jieħu ritratt immedjat u kkonvertih f’xena 3D bl-użu ta’ Instant NeRF.
Huwa tassew 1,000 darba aktar mgħaġġel?
Xena 3D tista' tieħu sigħat biex tinħoloq qabel NeRF, skont l-intricacy u l-kwalità tagħha.
L-AI għaġġlet ħafna l-proċess, iżda xorta tista 'tieħu sigħat biex titħarreġ sew. Bl-użu ta' metodu msejjaħ kodifikazzjoni tal-hash b'ħafna riżoluzzjonijiet, li sar pijunier minn NVIDIA, Instant NeRF inaqqas il-ħinijiet ta' render b'fattur ta' 1,000.
Il-pakkett Tiny CUDA Neural Networks u l-NVIDIA CUDA Toolkit intużaw biex jinħoloq il-mudell. Skont NVIDIA, minħabba li huwa netwerk newrali ħafif, jista 'jiġi mħarreġ u użat fuq GPU NVIDIA waħda, b'kards NVIDIA Tensor Core joperaw bl-iktar veloċitajiet mgħaġġla.
Każ ta 'Użu
Karozzi li jsuqu waħedhom huma waħda mill-applikazzjonijiet l-aktar sinifikanti ta 'din it-teknoloġija. Dawn il-vetturi fil-biċċa l-kbira joperaw billi jimmaġinaw l-inħawi tagħhom waqt li jmorru.
Madankollu, il-problema tat-teknoloġija tal-lum hija li hija goffa u tieħu ftit wisq.
Madankollu, bl-użu ta 'Instant NeRF, dak kollu li huwa meħtieġ għal karozza li ssuq waħedha biex tapprossima/tifhem id-daqs u l-għamla ta' oġġetti tad-dinja reali huwa li taqbad ritratti fissi, tibdelhom fi 3D, u mbagħad tuża dik l-informazzjoni.
Xorta jista' jkun hemm użu ieħor fil-metaverse jew video game industriji tal-produzzjoni.
Minħabba li Instant NeRF jippermettilek li tibni avatars jew saħansitra dinjiet virtwali sħaħ malajr, dan huwa minnu.
Kważi ftit Karattru 3D l-immudellar ikun meħtieġ għaliex kull ma għandek bżonn tagħmel hu li tmexxi n-netwerk newrali, u tiġġenera karattru għalik.
Barra minn hekk, NVIDIA għadha qed tesplora l-applikazzjoni ta 'din it-teknoloġija għal applikazzjonijiet addizzjonali relatati mat-tagħlim tal-magni.
Pereżempju, jista 'jintuża biex jittraduċi lingwi b'mod aktar preċiż minn qabel u jsaħħaħ l-iskop ġenerali tagħlim fil-fond algoritmi li issa qed jintużaw għal firxa usa' ta' kompiti.
konklużjoni
Ħafna kwistjonijiet ta 'grafika jiddependu fuq strutturi ta' data speċifiċi għall-kompitu biex jagħmlu użu mill-intoppi jew l-isparsità tal-problema.
L-alternattiva prattika bbażata fuq it-tagħlim offruta mill-kodifikazzjoni hash b'ħafna riżoluzzjonijiet ta 'NVIDIA tikkonċentra awtomatikament fuq dettall pertinenti, irrispettivament mill-ammont ta' xogħol.
Biex titgħallem aktar dwar kif joperaw l-affarijiet ġewwa, iċċekkja l-uffiċjal GitHub repożitorju.
Ħalli Irrispondi