Efnisyfirlit[Fela][Sýna]
Hey, vissirðu að hægt er að búa til þrívíddarsenu úr tvívíddargögnum á nokkrum sekúndum með Instant NeRF taugaflutningslíkani NVIDIA og hægt er að endurgera ljósmyndir af þeirri senu á millisekúndum?
Það er hægt að umbreyta safni kyrrmynda á fljótlegan hátt í stafrænt þrívíddarumhverfi með því að nota tæknina sem kallast andhverfa flutningur, sem gerir gervigreindum kleift að líkja eftir því hvernig ljós virkar í hinum raunverulega heimi.
Það er ein af fyrstu gerðum sinnar tegundar sem getur sameinað ofurhraða taugakerfisþjálfun og fljótlega flutning, þökk sé tækni sem rannsóknarteymi NVIDIA útbjó sem lýkur aðgerðinni ótrúlega fljótt - næstum samstundis.
Þessi grein mun skoða NeRF NVIDIA ítarlega, þar á meðal hraða hans, notkunartilvik og aðra þætti.
Svo, hvað er NeRF?
NeRF stendur fyrir taugageislunarsvið, sem vísar til tækni til að búa til einstaka sýn á flóknar senur með því að betrumbæta undirliggjandi samfellda rúmmálssenuaðgerð með því að nota fáa inntaksskoðanir.
Þegar safn af 2D myndum er gefið sem inntak, nota NeRFs NVIDIA taugakerfi til að tákna og búa til þrívíddarsenur.
Lítið magn af myndum frá ýmsum sjónarhornum á svæðinu er þörf fyrir tauga net, ásamt staðsetningu myndavélarinnar í hverjum ramma.
Því fyrr sem þessar myndir eru teknar, því betra, sérstaklega í senum með hreyfanlegum leikurum eða hlutum.
AI-myndað þrívíddarsenan verður blettur ef það er of mikil hreyfing meðan á tvívíddarmyndatöku stendur.
Með því að spá fyrir um lit ljóssins sem stafar í allar áttir frá hvaða stað sem er í þrívíddarumhverfinu, fyllir NeRF í raun upp í eyðurnar sem þessi gögn skilja eftir til að búa til alla myndina.
Þar sem NeRF getur búið til þrívíddarsenu á nokkrum millisekúndum eftir að hafa fengið rétt inntak, er það fljótlegasta NeRF nálgunin hingað til.
NeRF virkar svo hratt að það er nánast samstundis, þess vegna heitir það. Ef staðlaðar 3D framsetningar eins og marghyrndar möskva eru vektormyndir, eru NeRFs punktamyndir: þær fanga þétt hvernig ljós kemur frá hlut eða inni í senu.
Augnablik NeRF er nauðsynlegt fyrir þrívídd þar sem stafrænar myndavélar og JPEG-þjöppun hafa verið í tvívíddarmyndatöku, sem hefur verulega aukið hraða, þægindi og umfang þrívíddartöku og samnýtingar.
Augnablik NeRF er hægt að nota til að framleiða avatar eða jafnvel heil landslag fyrir sýndarheima.
Til að heiðra fyrstu daga Polaroid-mynda endurskapaði NVIDIA rannsóknarteymið frægt skot af Andy Warhol sem tók skyndimynd og breytti henni í þrívíddarsenu með Instant NeRF.
Er það virkilega 1,000 sinnum hraðar?
Það gæti tekið tíma að búa til þrívíddarsenu fyrir NeRF, allt eftir flóknum og gæðum hennar.
Gervigreind flýtti mjög fyrir ferlinu, en það gæti samt tekið tíma að þjálfa almennilega. Með því að nota aðferð sem kallast multi-resolution kjötkássakóðun, frumkvöðull af NVIDIA, dregur Instant NeRF flutningstíma um 1,000.
Tiny CUDA Neural Networks pakkinn og NVIDIA CUDA Toolkit voru notuð til að búa til líkanið. Samkvæmt NVIDIA, vegna þess að það er létt tauganet, er hægt að þjálfa það og nota það á einni NVIDIA GPU, með NVIDIA Tensor Core kort sem starfa á hraðasta hraðanum.
Notaðu Case
Sjálfkeyrandi bifreiðar eru ein mikilvægasta notkun þessarar tækni. Þessi farartæki starfa að miklu leyti með því að ímynda sér umhverfi sitt á meðan þau fara.
Hins vegar er vandamálið við tækni nútímans að hún er klaufaleg og tekur aðeins of langan tíma.
Hins vegar, með því að nota Instant NeRF, er allt sem þarf til að sjálfkeyrandi bíll nálgist/skilji stærð og lögun raunverulegra hluta að taka kyrrmyndir, breyta þeim í 3D og nota síðan þessar upplýsingar.
Það gæti samt verið önnur notkun í metaverse eða vídeó leikur framleiðsluiðnaði.
Vegna þess að Instant NeRF gerir þér kleift að byggja upp avatar eða jafnvel heila sýndarheima fljótt, þá er þetta satt.
Næstum lítið 3D karakter líkanagerð væri nauðsynleg vegna þess að allt sem þú þarft að gera er að keyra tauganetið og það myndi búa til karakter fyrir þig.
Að auki er NVIDIA enn að kanna að beita þessari tækni fyrir frekari vélanámstengd forrit.
Til dæmis getur það verið notað til að þýða tungumál nákvæmari en áður og auka almennan tilgang djúpt nám reiknirit sem nú er notað fyrir fjölbreyttari verkefni.
Niðurstaða
Mörg grafíkvandamál treysta á verkefnasértæka gagnauppbyggingu til að nýta sléttleika eða strjálleika vandamálsins.
Hagnýti námstengdi valkosturinn sem NVIDIA býður upp á margupplausnar kjötkássakóðun einbeitir sér sjálfkrafa að viðeigandi smáatriðum, óháð vinnuálagi.
Til að læra meira um hvernig hlutirnir virka inni, skoðaðu embættismanninn GitHub geymsla.
Skildu eftir skilaboð