Tabl Cynnwys[Cuddio][Dangos]
Hei, oeddech chi'n gwybod, y gellir creu golygfa 3D o fewnbynnau data 2D mewn eiliadau gyda model rendrad niwral Instant NeRF NVIDIA, a gellir rendro ffotograffau o'r olygfa honno mewn milieiliadau?
Mae'n bosibl trosi casgliad o ffotograffau llonydd yn gyflym i amgylchedd 3D digidol gan ddefnyddio'r dechneg a elwir yn rendrad gwrthdro, sy'n galluogi AI i ddynwared sut mae golau yn gweithio yn y byd go iawn.
Mae'n un o'r modelau cyntaf o'i fath sy'n gallu cyfuno hyfforddiant rhwydwaith niwral tra-gyflym a rendro cyflym, diolch i dechneg a ddyfeisiodd tîm ymchwil NVIDIA sy'n cwblhau'r llawdriniaeth yn rhyfeddol o gyflym - bron yn syth bin.
Bydd yr erthygl hon yn archwilio NeRF NVIDIA yn fanwl, gan gynnwys ei gyflymder, achosion defnydd, a ffactorau eraill.
Felly, beth sydd NeRF?
Ystyr NeRF yw meysydd pelydriad niwral, sy'n cyfeirio at dechneg ar gyfer creu golygfeydd unigryw o olygfeydd cymhleth trwy fireinio swyddogaeth golygfa gyfeintiol barhaus sylfaenol gan ddefnyddio nifer fach o olygfeydd mewnbwn.
Pan roddir casgliad o luniau 2D fel mewnbwn, mae NeRFs NVIDIA yn eu cyflogi rhwydweithiau nefol cynrychioli a chynhyrchu golygfeydd 3D.
Mae angen nifer fach o luniau o wahanol onglau o amgylch yr ardal ar gyfer y rhwydwaith nefol, ynghyd â lleoliad y camera ym mhob ffrâm.
Gorau po gyntaf y cymerir y lluniau hyn, yn enwedig mewn golygfeydd gydag actorion neu wrthrychau symudol.
Bydd yr olygfa 3D a gynhyrchir gan AI yn cael ei smwdio os bydd gormod o symud yn ystod y weithdrefn dal lluniau 2D.
Trwy ragfynegi lliw golau sy'n deillio i bob cyfeiriad o unrhyw leoliad yn yr amgylchedd 3D, mae'r NeRF i bob pwrpas yn llenwi'r bylchau a adawyd gan y data hwn i adeiladu'r ddelwedd gyfan.
Gan y gall NeRF gynhyrchu golygfa 3D mewn cwpl o filieiliadau ar ôl derbyn y mewnbynnau cywir, dyma'r dull NeRF cyflymaf hyd yn hyn.
Mae NeRF yn gweithio mor gyflym fel ei fod bron yn syth, a dyna pam ei enw. Os yw cynrychioliadau 3D safonol fel rhwyllau amlochrog yn lluniau fector, mae NeRFs yn ddelweddau didfap: maen nhw'n dal yn ddwys y ffordd mae golau'n deillio o wrthrych neu y tu mewn i olygfa.
NeRF ar unwaith yn hanfodol i 3D gan fod camerâu digidol a chywasgu JPEG wedi bod i ffotograffiaeth 2D, gan wella'n sylweddol gyflymder, cyfleustra a chyrhaeddiad cipio a rhannu 3D.
Gellir defnyddio Instant NeRF i gynhyrchu avatars neu hyd yn oed golygfeydd cyfan ar gyfer bydoedd rhithwir.
I dalu gwrogaeth i ddyddiau cynnar lluniau Polaroid, ail-greodd tîm Ymchwil NVIDIA saethiad enwog o Andy Warhol yn tynnu llun ar unwaith a'i drawsnewid yn olygfa 3D gan ddefnyddio Instant NeRF.
A yw'n wir 1,000 gwaith yn gyflymach?
Gallai golygfa 3D gymryd oriau i'w chreu cyn NeRF, yn dibynnu ar ei chymhlethdod a'i hansawdd.
Cyflymodd AI y broses yn fawr, ond gallai gymryd oriau o hyd i hyfforddi'n iawn. Gan ddefnyddio dull a elwir yn amgodio hash aml-datrys, a arloeswyd gan NVIDIA, mae Instant NeRF yn lleihau amseroedd rendrad gan ffactor o 1,000.
Defnyddiwyd pecyn Rhwydweithiau Niwral Tiny CUDA a Phecyn Cymorth NVIDIA CUDA i greu'r model. Yn ôl NVIDIA, oherwydd ei fod yn rhwydwaith niwral ysgafn, gellir ei hyfforddi a'i ddefnyddio ar un GPU NVIDIA, gyda chardiau NVIDIA Tensor Core yn gweithredu ar y cyflymderau cyflymaf.
Defnyddiwch Achos
Automobile hunan-yrru yw un o gymwysiadau mwyaf arwyddocaol y dechnoleg hon. Mae'r cerbydau hyn yn gweithredu i raddau helaeth trwy ddychmygu eu hamgylchedd wrth iddynt fynd.
Fodd bynnag, y broblem gyda thechnoleg heddiw yw ei bod yn drwsgl ac yn cymryd ychydig yn rhy hir.
Fodd bynnag, gan ddefnyddio Instant NeRF, y cyfan sydd ei angen i gar sy'n gyrru ei hun i frasamcanu / deall maint a siâp gwrthrychau'r byd go iawn yw dal ffotograffau llonydd, eu troi'n 3D, ac yna defnyddio'r wybodaeth honno.
Gallai fod defnydd arall o hyd yn y metaverse neu gêm fideo diwydiannau cynhyrchu.
Gan fod Instant NeRF yn caniatáu ichi adeiladu afatarau neu hyd yn oed bydoedd rhithwir cyfan yn gyflym, mae hyn yn wir.
Ychydig bron Cymeriad 3D byddai angen modelu oherwydd y cyfan fyddai angen i chi ei wneud yw rhedeg y rhwydwaith niwral, a byddai'n cynhyrchu cymeriad i chi.
Yn ogystal, mae NVIDIA yn dal i archwilio cymhwyso'r dechnoleg hon ar gyfer cymwysiadau ychwanegol sy'n gysylltiedig â dysgu peiriannau.
Er enghraifft, gellir ei ddefnyddio i gyfieithu ieithoedd yn fwy cywir nag o'r blaen a gwella'r pwrpas cyffredinol dysgu dwfn algorithmau sydd bellach yn cael eu defnyddio ar gyfer ystod ehangach o dasgau.
Casgliad
Mae llawer o faterion graffeg yn dibynnu ar strwythurau data tasg-benodol i wneud defnydd o esmwythder neu deneurwydd y broblem.
Mae'r dewis arall sy'n seiliedig ar ddysgu ymarferol a gynigir gan amgodio hash aml-ddarniad NVIDIA yn canolbwyntio'n awtomatig ar fanylion perthnasol, waeth beth fo'r llwyth gwaith.
I ddysgu mwy am sut mae pethau'n gweithredu y tu mewn, edrychwch ar y swyddog GitHub storfa.
Gadael ymateb