Turinys[Slėpti][Rodyti]
Sveiki, ar žinojote, kad naudojant NVIDIA momentinį NeRF neuroninį atvaizdavimo modelį iš 3D duomenų įvesties 2D sceną galima sukurti per kelias sekundes, o tos scenos nuotraukos gali būti pateikiamos per milisekundes?
Galima greitai konvertuoti nejudančių nuotraukų kolekciją į skaitmeninę 3D aplinką, naudojant techniką, vadinamą atvirkštiniu atvaizdavimu, kuri leidžia AI imituoti, kaip šviesa veikia realiame pasaulyje.
Tai vienas iš pirmųjų tokio tipo modelių, galinčių suderinti itin greitą neuroninio tinklo mokymą ir greitą atvaizdavimą dėl NVIDIA tyrimų grupės sukurtos technikos, kuri operaciją užbaigia neįtikėtinai greitai – beveik akimirksniu.
Šiame straipsnyje bus nuodugniai išnagrinėtas NVIDIA NeRF, įskaitant jo greitį, naudojimo atvejus ir kitus veiksnius.
Taigi, kas yra NeRF?
NeRF reiškia nervinio spinduliavimo laukus, kurie reiškia unikalių sudėtingų scenų vaizdų kūrimo metodą, patobulinant pagrindinę nuolatinę tūrinę scenos funkciją naudojant nedidelį įvesties rodinių skaičių.
Kai kaip įvestis pateikiama 2D nuotraukų kolekcija, naudojami NVIDIA NeRF neuroniniai tinklai vaizduoti ir generuoti 3D scenas.
Tam reikia nedaug nuotraukų iš įvairių kampų aplink vietovę neuroninis tinklas, kartu nurodant fotoaparato vietą kiekviename kadre.
Kuo anksčiau šios nuotraukos padaromos, tuo geriau, ypač scenose su judančiais aktoriais ar objektais.
Dirbtinio intelekto sukurta 3D scena bus sutepta, jei 2D vaizdo fiksavimo procedūros metu bus per daug judesių.
Numatydamas šviesos spalvą, sklindančią visomis kryptimis iš bet kurios 3D aplinkos vietos, NeRF efektyviai užpildo šių duomenų paliktas spragas, kad sukurtų visą vaizdą.
Kadangi NeRF gali sukurti 3D sceną per porą milisekundžių, gavęs reikiamas įvestis, tai yra greičiausias NeRF metodas iki šiol.
NeRF veikia taip greitai, kad yra beveik akimirksniu, taigi ir jo pavadinimas. Jei standartiniai 3D atvaizdai, pvz., daugiakampiai tinkleliai, yra vektoriniai paveikslėliai, NeRF yra bitmap vaizdai: jie tankiai fiksuoja šviesos sklidimą iš objekto arba scenos viduje.
Momentinis NeRF yra būtinas 3D, nes skaitmeniniai fotoaparatai ir JPEG glaudinimas buvo naudojami 2D fotografijai, o tai žymiai padidina 3D fotografavimo ir bendrinimo greitį, patogumą ir pasiekiamumą.
Momentinis NeRF gali būti naudojamas kuriant avatarus ar net ištisas dekoracijas virtualiems pasauliams.
Norėdama pagerbti pirmąsias „Polaroid“ nuotraukų dienas, NVIDIA tyrimų komanda atkūrė garsųjį Andy Warholo kadrą, darantį momentinę nuotrauką, ir pavertė ją 3D scena, naudodama „Instant NeRF“.
Ar tikrai 1,000 kartų greičiau?
3D scena gali užtrukti kelias valandas prieš NeRF, priklausomai nuo jos sudėtingumo ir kokybės.
Dirbtinis intelektas labai pagreitino procesą, tačiau vis tiek gali prireikti valandų, kol bus tinkamai treniruojamasi. Naudojant metodą, vadinamą daugialypės raiškos maišos kodavimu, kurį sukūrė NVIDIA, Instant NeRF sumažina pateikimo laiką 1,000 kartų.
Modeliui sukurti buvo naudojamas Tiny CUDA Neural Networks paketas ir NVIDIA CUDA Toolkit. Pasak NVIDIA, kadangi tai yra lengvas neuroninis tinklas, jį galima apmokyti ir naudoti viename NVIDIA GPU, o NVIDIA Tensor Core kortelės veikia didžiausiu greičiu.
Naudokite atvejį
Savaeigiai automobiliai yra vienas reikšmingiausių šios technologijos pritaikymų. Šios transporto priemonės dažniausiai veikia įsivaizduodamos savo aplinką.
Tačiau šiuolaikinių technologijų problema yra ta, kad jos yra gremėzdiškos ir trunka šiek tiek per ilgai.
Tačiau naudojant Instant NeRF, viskas, ko reikia, kad savarankiškai vairuojantis automobilis apytiksliai / suprastų realaus pasaulio objektų dydį ir formą, yra užfiksuoti nejudančias nuotraukas, paversti jas 3D formatu ir naudoti tą informaciją.
Vis tiek gali būti kitoks panaudojimas metaverse arba vaizdo žaidimų gamybos pramonės šakos.
Kadangi Instant NeRF leidžia greitai sukurti avatarus ar net ištisus virtualius pasaulius, tai tiesa.
Beveik mažai 3D simbolis būtų reikalingas modeliavimas, nes tereikia paleisti neuroninį tinklą ir jis sukurs jums simbolį.
Be to, NVIDIA vis dar tiria šios technologijos pritaikymą papildomoms su mašininiu mokymusi susijusioms programoms.
Pavyzdžiui, jis gali būti naudojamas kalboms išversti tiksliau nei anksčiau ir pagerinti bendrąją paskirtį gilus mokymasis algoritmai, dabar naudojami platesniam užduočių spektrui.
Išvada
Daugelis grafikos problemų priklauso nuo konkrečios užduoties duomenų struktūrų, kad būtų galima pasinaudoti problemos sklandumu ar retumu.
Praktiniu mokymusi paremta alternatyva, kurią siūlo NVIDIA daugialypės raiškos maišos kodavimas, automatiškai sutelkia dėmesį į svarbias detales, neatsižvelgiant į darbo krūvį.
Norėdami sužinoti daugiau apie tai, kaip viskas veikia viduje, apsilankykite oficialioje svetainėje GitHub saugykla.
Palikti atsakymą