Sisällysluettelo[Piilottaa][Näytä]
Hei, tiesitkö, että 3D-näkymä voidaan luoda 2D-syötteistä sekunneissa NVIDIAn Instant NeRF -hermotoistomallilla ja valokuvat kyseisestä kohtauksesta voidaan renderöidä millisekunneissa?
On mahdollista muuntaa nopeasti kokoelma still-valokuvia digitaaliseksi 3D-ympäristöksi käänteisenä renderöinnillä tunnetun tekniikan avulla, jonka avulla tekoäly jäljittelee valon toimintaa todellisessa maailmassa.
Se on yksi ensimmäisistä laatuaan malleista, joka pystyy yhdistämään erittäin nopean hermoverkkokoulutuksen ja nopean renderöinnin NVIDIAn tutkimusryhmän kehittämän tekniikan ansiosta, joka suorittaa toiminnon uskomattoman nopeasti – lähes välittömästi.
Tässä artikkelissa tarkastellaan NVIDIAn NeRF:ää perusteellisesti, mukaan lukien sen nopeus, käyttötapaukset ja muut tekijät.
Joten, mikä on NeRF?
NeRF tarkoittaa hermosäteilykenttiä, joka viittaa tekniikkaan, jolla luodaan ainutlaatuisia näkymiä monimutkaisista kohtauksista jalostamalla taustalla olevaa jatkuvaa tilavuuskohtaustoimintoa käyttämällä pientä määrää tulonäkymiä.
Kun syötteeksi annetaan kokoelma 2D-valokuvia, NVIDIAn NeRF-laitteet käyttävät hermoverkkoihin edustaa ja luoda 3D-kohtauksia.
Pieni määrä kuvia eri kulmista ympäri aluetta tarvitaan neuroverkkomallien, sekä kameran sijainti kussakin kehyksessä.
Mitä nopeammin nämä kuvat otetaan, sitä parempi, erityisesti kohtauksissa, joissa esiintyy liikkuvia näyttelijöitä tai esineitä.
Tekoälyn luoma 3D-näkymä tahrautuu, jos liikettä on liikaa 2D-kuvan ottamisen aikana.
Ennakoimalla valon värin, joka säteilee joka suuntaan mistä tahansa paikasta 3D-ympäristössä, NeRF täyttää tehokkaasti näiden tietojen jättämät aukot ja muodostaa koko kuvan.
Koska NeRF voi luoda 3D-näkymän muutamassa millisekunnissa oikean syötteen vastaanottamisen jälkeen, se on tähän mennessä nopein NeRF-menetelmä.
NeRF toimii niin nopeasti, että se on käytännöllisesti katsoen välitön, tästä syystä sen nimi. Jos tavalliset 3D-esitykset, kuten monikulmioverkot, ovat vektorikuvia, NeRF:t ovat bittikarttakuvia: ne kuvaavat tiiviisti tapaa, jolla valo tulee kohteesta tai näkymän sisällä.
Instant NeRF on olennaista 3D:lle, sillä digitaalikamerat ja JPEG-pakkaus ovat olleet 2D-kuvauksessa, mikä parantaa dramaattisesti 3D-kaappauksen ja -jakamisen nopeutta, mukavuutta ja ulottuvuutta.
Instant NeRF:llä voidaan tuottaa avatareja tai jopa kokonaisia maisemia virtuaalimaailmoja varten.
Kunnioituksena Polaroid-valokuvien alkuajoille, NVIDIA-tutkimustiimi loi uudelleen kuuluisan kuvan Andy Warholista, joka otti pikakuvan ja muunsi sen 3D-kohtaukseksi Instant NeRF:n avulla.
Onko se todella 1,000 kertaa nopeampi?
3D-kohtauksen luominen voi kestää tunteja ennen NeRF:ää sen monimutkaisuudesta ja laadusta riippuen.
Tekoäly nopeutti prosessia huomattavasti, mutta kunnolla harjoitteleminen voi silti kestää tunteja. Käyttämällä menetelmää nimeltä moniresoluutioinen hash-koodaus, jonka NVIDIA on edelläkävijä, Instant NeRF lyhentää renderöintiaikoja kertoimella 1,000.
Mallin luomiseen käytettiin Tiny CUDA Neural Networks -pakettia ja NVIDIA CUDA Toolkit -työkalua. NVIDIAn mukaan, koska se on kevyt hermoverkko, sitä voidaan kouluttaa ja käyttää yhdellä NVIDIA GPU:lla, ja NVIDIA Tensor Core -kortit toimivat nopeimmilla nopeuksilla.
Käytä asiaa
Itseajavat autot ovat yksi tämän tekniikan merkittävimmistä sovelluksista. Nämä ajoneuvot toimivat suurelta osin kuvittelemalla ympäristönsä kulkiessaan.
Nykytekniikan ongelmana on kuitenkin se, että se on kömpelö ja kestää hieman liian kauan.
Instant NeRF:ää käytettäessä itse ajavan auton tarvitsee kuitenkin arvioida/ymmärtää todellisten esineiden kokoa ja muotoa, on ottaa still-kuvia, muuttaa ne 3D:ksi ja sitten käyttää näitä tietoja.
Voisi silti olla muuta käyttöä metaversumissa tai videopeli tuotantoteollisuudessa.
Koska Instant NeRF antaa sinun rakentaa avatareja tai jopa kokonaisia virtuaalimaailmoja nopeasti, tämä on totta.
Melkein vähän 3D-merkki mallintaa tarvitaan, koska sinun tarvitsee vain ajaa hermoverkko, ja se luo sinulle merkin.
Lisäksi NVIDIA tutkii edelleen tämän tekniikan soveltamista muihin koneoppimiseen liittyviin sovelluksiin.
Sitä voidaan käyttää esimerkiksi kääntämään kieliä entistä tarkemmin ja parantamaan yleiskäyttöä syvä oppiminen algoritmeja, joita käytetään nyt useammissa tehtävissä.
Yhteenveto
Monet grafiikkaongelmat perustuvat tehtäväkohtaisiin tietorakenteisiin, jotta ne voivat hyödyntää ongelman tasaisuutta tai harveutta.
NVIDIAn moniresoluutioisen hash-koodauksen tarjoama käytännöllinen oppimiseen perustuva vaihtoehto keskittyy automaattisesti oleellisiin yksityiskohtiin työmäärästä riippumatta.
Saat lisätietoja siitä, miten asiat toimivat sisällä, katso virkailija GitHub arkistoon.
Jätä vastaus