Mohlomong u kile oa utloela ka hore na mefuta ea AI ea mongolo ho ea ho setšoantšo e matla hakae lilemong tse 'maloa tse fetileng. Empa na u ne u tseba hore theknoloji e tšoanang e ka thusa ho tlola ho tloha 2D ho ea ho 3D?
Mefuta ea 3D e hlahisitsoeng ke AI e na le ts'ebeliso e pharalletseng tikolohong ea kajeno ea dijithale. Lipapali tsa fitio 'me filimi e itšetlehile ka litsebi tse nang le tsebo ea 3D le software ea mohlala e kang Blender ho theha thepa ea 3D ho hlahisa litšoantšo tse entsoeng ke k'homphieutha.
Leha ho le joalo, na ho ka etsahala hore indasteri e ka sebelisa ho ithuta ka mochine ho etsa thepa ea 3D ka boiteko bo fokolang, ho tšoana le kamoo litsebi tsa 2D kajeno li qalang ho sebelisa theknoloji e kang DALL-E le Bohareng ba leeto?
Sengoliloeng sena se tla hlahloba algorithm e ncha e lekang ho theha mofuta o sebetsang oa mongolo ho isa ho 3D o sebelisa o teng mefuta ea ho hasana.
ke eng Litoro?
Taba e 'ngoe e kholo ka ho theha mofuta oa phallo e hlahisang thepa ea 3D ka kotloloho ke hore ha ho na data e ngata ea 3D e fumanehang. Mefuta ea phatlalatso ea 2D e se e le matla haholo ka lebaka la pokello ea litšoantšo tse ngata tse fumanehang marang-rang. Ho ke ke ha buuoa se tšoanang ka thepa ea 3D.
Mekhoa e meng ea tlhahiso ea 3D e sebetsa ho potoloha khaello ena ea data ka ho nka monyetla ka bongata bona ba data ea 2D.
DreamFusion ke mohlala oa tlhahiso o ka bopang mefuta ea 3D ho latela tlhaloso e fanoeng ea mongolo. Moetso oa DreamFusion o sebelisa moetso oa phallo ea mongolo ho ea ho setšoantšo o koetlisitsoeng esale pele ho hlahisa mefuta ea 'nete ea likarolo tse tharo ho tsoa litaelong tsa mongolo.
Ho sa tsotellehe ho se be le data ea koetliso ea 3D, mokhoa ona o hlahisitse thepa e lumellanang ea 3D e nang le ponahalo e phahameng ea botšepehi le botebo.
E Sebetsa Joang?
Algorithm ea DreamFusion e na le mefuta e 'meli ea mantlha: mofuta oa phallo ea 2D le a neural network e ka fetolang litšoantšo tsa 2D hore e be setšoantšo sa 3D se momahaneng.
Mohlala oa Sets'oants'o sa Imagen oa Google
Karolo ea pele ea algorithm ke mokhoa oa ho hasana. Moetso ona o na le boikarabello ba ho fetolela mongolo ho litšoantšo.
Nahana ke mohlala oa ho hasanya o ka hlahisang sampole e kholo ea liphapang tsa setšoantšo sa ntho e itseng. Tabeng ena, mefuta ea rona ea litšoantšo e lokela ho koahela li-angles tsohle tse ka khonehang tsa ntho e fanoeng. Ka mohlala, haeba re ne re batla ho hlahisa setšoantšo sa 3D sa pere, re ka batla litšoantšo tsa 2D tsa pere ho tloha ka mahlakoreng 'ohle a khonehang. Sepheo ke ho sebelisa Imagen ho fana ka tlhaiso-leseling e ngata kamoo ho ka khonehang (mebala, lipontšo, letsoalo) bakeng sa mofuta o latelang ho algorithm ea rona.
Ho theha Mefuta ea 3D ka NeRF
Ka mor'a moo, Dreamfusion e sebelisa mohlala o tsejoang e le a Sebaka sa Neural Radiance kapa NeRF ho theha mofuta oa 3D ho tsoa setšoantšong se hlahisitsoeng. Li-NeRF li khona ho etsa litšoantšo tse rarahaneng tsa 3D tse fuoang dataset ea litšoantšo tsa 2D.
Ha re leke ho utloisisa hore na NeRF e sebetsa joang.
Moetso ona o ikemiselitse ho theha ts'ebetso e tsoelang pele ea boemo ba volumetric e ntlafalitsoeng ho tsoa ho dataset e fanoeng ea litšoantšo tsa 2D.
Haeba mohlala o etsa mosebetsi, ke eng e kenang le e hlahisoang?
Mosebetsi oa ketsahalo o nka sebaka sa 3D le tataiso ea ho shebella ea 2D e le ho kenya letsoho. Ts'ebetso ebe e hlahisa 'mala (ka sebopeho sa RGB) le boholo bo itseng ba molumo.
Ho hlahisa setšoantšo sa 2D ho tsoa ponong e itseng, moetso o tla hlahisa sete ea lintlha tsa 3D ebe o tsamaisa lintlha tseo ka tšebetso ea ketsahalo ho khutlisa sete ea mebala le boleng ba boleng. Mekhoa ea ho fana ka molumo e tla fetolela boleng boo hore e be sephetho sa setšoantšo sa 2D.
Ho sebelisa NeRF le 2D Diffusion Models Hammoho
Kaha joale rea tseba hore na NeRF e sebetsa joang, ha re boneng hore na mofuta ona o ka hlahisa mefuta e nepahetseng ea 3D joang ho tsoa litšoantšong tseo re li entseng.
Bakeng sa molaetsa o mong le o mong o fanoeng, DreamFusion e koetlisa NeRF e qaliloeng ho tloha qalong. Phetoho e 'ngoe le e' ngoe e khetha boemo ba khamera bo sa reroang ka har'a sehlopha sa likhokahano tse chitja. Ak'u nahane ka mohlala o kentsoeng ka har'a selikalikoe sa khalase. Nako le nako ha re hlahisa setšoantšo se secha sa mofuta oa rona oa 3D, re tla khetha ntlha e sa reroang sebakeng sa rona e le sebaka sa bohlokoa sa tlhahiso ea rona. DreamFusion e tla boela e khethe sebaka sa khanya se sa reroang l ho sebedisoa bakeng sa ho fana.
Ha re se re e-na le khamera le boemo bo bobebe, ho tla fanoa ka mohlala oa NeRF. DreamFusion e tla khetha ka mokhoa o sa reroang pakeng tsa ho fana ka mebala, phetolelo e sa sebetseng, le phetolelo ea albedo ntle le moriti.
Re boletse pejana hore re batla hore mofuta oa rona oa mongolo ho ea ho setšoantšo (Imagen) o hlahise litšoantšo tse lekaneng ho etsa sampole e emelang.
Dreamfusion e finyella see joang?
Dreamfusion e fetola feela tlhahiso ea ho kenya hanyane ho fihlela li-angles tse reriloeng. Ka mohlala, re ka finyella li-angles tse phahameng ka ho kenya "pono ea holimo" ho molaetsa oa rona. Re ka hlahisa li-angles tse ling ka ho hlomathisa lipoleloana tse kang “chebo ea ka pele”, “chebo ea lehlakore”, le “chebo ea morao”.
Lits'oants'o li hlahisoa khafetsa ho tsoa maemong a khamera a sa reroang. Liphetolelo tsena li fetela tšebetsong ea tahlehelo ea distillation. Mokhoa o bonolo oa ho theola gradient o tla ntlafatsa butle butle Moetso oa 3D ho fihlela e lumellana le ketsahalo e hlalositsoeng ke temana.
Hang ha re se re fane ka mohlala oa 3D re sebelisa NeRF, re ka sebelisa Algorithm ea ho Marching Cubes ho hlahisa mesh ea 3D ea mohlala oa rona. Joale mesh ena e ka romelloa kantle ho li-renderer tse tsebahalang tsa 3D kapa software ea mohlala.
sheba mefokolo ea
Le ha tlhahiso ea DreamFusion e khahla ho lekana kaha e sebelisa mefuta e teng ea phatlalatso ea mongolo ho ea ho setšoantšo ka tsela e ncha, bafuputsi ba hlokometse mefokolo e 'maloa.
Ts'ebetso ea tahlehelo ea SDS e 'nile ea hlokomeloa ho hlahisa liphetho tse feteletseng le tse boreleli ho feta tekano. U ka bona sena ka 'mala oo e seng oa tlhaho le khaello ea lintlha tse hlakileng tse fumanoang liphethong.
DreamFusion algorithm e boetse e lekantsoe ke qeto ea setšoantšo sa Imagen, e leng 64 x 64 pixels. Sena se lebisa ho mefuta e kopaneng e se nang lintlha tse ntle.
Qetellong, bafuputsi ba hlokometse hore ho na le phephetso ea tlhaho ea ho kopanya mefuta ea 3D ho tsoa ho data ea 2D. Ho na le mefuta e mengata ea 3D eo re ka e hlahisang ho tsoa ho sete ea litšoantšo tsa 2D, e etsang hore ho be thata ho ntlafatsa le ho se hlaka.
fihlela qeto e
Liphetolelo tsa 3D tsa DreamFusion li sebetsa hantle haholo ka lebaka la bokhoni ba mefuta ea phallo ea mongolo ho ea ho setšoantšo ho theha ntho kapa ketsahalo efe kapa efe. Hoa makatsa hore na marang-rang a neural a ka utloisisa se etsahalang sebakeng sa 3D ntle le data ea koetliso ea 3D. Ke khothaletsa ho bala buka ea pampiri eohle ho ithuta haholoanyane ka lintlha tsa tekheniki tsa algorithm ea DreamFusion.
Ka ts'epo, theknoloji ena e tla ntlafala hore qetellong e thehe mefuta ea 3D ea 'nete. Nahana ka lipapali tsohle tsa video kapa lipapiso tse sebelisang tikoloho e hlahisoang ke AI. E ka fokotsa tšitiso ea ho kena ho baetsi ba lipapali tsa video ho theha lefatše le tebileng la 3D!
U nahana hore mefuta ea mongolo ho ea ho 3D e tla bapala karolo efe kamoso?
Leave a Reply