O le ti gbọ nipa bii awọn awoṣe AI ọrọ-si-aworan ti lagbara ti di ni ọdun meji sẹhin. Ṣugbọn ṣe o mọ pe imọ-ẹrọ kanna le ṣe iranlọwọ lati fifo lati 2D si 3D?
Awọn awoṣe 3D ti ipilẹṣẹ AI ni ọran lilo gbooro ni ala-ilẹ oni-nọmba oni. Awon ere fidio ati fiimu gbarale awọn oṣere 3D ti oye ati sọfitiwia awoṣe bii Blender lati ṣẹda awọn ohun-ini 3D lati gbejade awọn iwoye ti ipilẹṣẹ kọnputa.
Sibẹsibẹ, ṣe o ṣee ṣe pe ile-iṣẹ le lo ẹkọ ẹrọ lati ṣẹda awọn ohun-ini 3D pẹlu igbiyanju diẹ, bii bii bii awọn oṣere 2D loni ṣe bẹrẹ lati gba imọ-ẹrọ bii DALL-E ati Irin-ajo agbedemeji?
Nkan yii yoo ṣawari algorithm aramada ti o gbiyanju lati ṣẹda awoṣe-ọrọ-si-3D ti o munadoko nipa lilo ti o wa tẹlẹ awọn awoṣe itankale.
ohun ti o jẹ Dreamfusion?
Ọrọ pataki kan pẹlu ṣiṣẹda awoṣe itankale ti o ṣe ipilẹṣẹ awọn ohun-ini 3D taara ni pe kii ṣe pupọ ti data 3D ti o wa. Awọn awoṣe itankale 2D ti di alagbara nitori titobi data ti awọn aworan ti a rii lori intanẹẹti. Ohun kanna ko le sọ pẹlu awọn ohun-ini 3D.
Diẹ ninu awọn imuposi ipilẹṣẹ 3D ṣiṣẹ ni ayika aini data yii nipa lilo anfani lọpọlọpọ ti data 2D yii.
DreamFusion jẹ awoṣe ipilẹṣẹ ti o le ṣẹda awọn awoṣe 3D ti o da lori apejuwe ọrọ ti a pese. Awoṣe DreamFusion nlo awoṣe itọka ọrọ-si-aworan ti a ti kọkọ ṣaaju lati ṣe agbekalẹ awọn awoṣe onisẹpo mẹta gidi lati awọn itọ ọrọ.
Bi o ti jẹ pe ko ni data ikẹkọ 3D, ọna yii ti ṣe ipilẹṣẹ awọn ohun-ini 3D ibaramu pẹlu ifarahan giga-iṣootọ ati ijinle.
Bawo ni Ṣe O Sise?
Algoridimu DreamFusion ni awọn awoṣe akọkọ meji: awoṣe itankale 2D ati a Nẹtiwọki ti nhu ti o le ṣe iyipada awọn aworan 2D sinu iṣẹlẹ 3D iṣọkan kan.
Awoṣe Ọrọ-si-Aworan Aworan Google
Apa akọkọ ti algorithm jẹ awoṣe itankale. Awoṣe yii jẹ iduro fun yiyipada ọrọ si awọn aworan.
Imagen jẹ awoṣe itankale ti o le ṣe agbejade apẹẹrẹ nla ti awọn iyatọ aworan ti ohun kan pato. Ni idi eyi, awọn iyatọ aworan wa yẹ ki o bo gbogbo awọn igun ti o ṣeeṣe ti ohun ti a pese. Fun apẹẹrẹ, ti a ba fẹ lati ṣe agbekalẹ awoṣe 3D ti ẹṣin, a yoo fẹ awọn aworan 2D ti ẹṣin lati gbogbo awọn igun ti o ṣeeṣe. Ibi-afẹde ni lati lo Imagen lati pese alaye pupọ bi o ti ṣee (awọn awọ, awọn atunwo, iwuwo) fun awoṣe atẹle ninu algorithm wa.
Ṣiṣẹda 3D Awọn awoṣe pẹlu NeRF
Nigbamii ti, Dreamfusion nlo awoṣe ti a mọ si a Ohunkikan Radiance Field tabi NeRF lati ṣẹda awoṣe 3D ni otitọ lati ṣeto aworan ti ipilẹṣẹ. Awọn NeRF ni anfani lati ṣẹda awọn iwoye 3D eka ti a fun ni ipilẹ data ti awọn aworan 2D.
Jẹ ki a gbiyanju lati ni oye bi NeRF ṣe n ṣiṣẹ.
Awoṣe naa ni ero lati ṣẹda iṣẹ iwoye iwọn didun ti nlọsiwaju ti iṣapeye lati inu data ti a pese ti awọn aworan 2D.
Ti awoṣe ba ṣẹda iṣẹ kan, kini igbewọle ati iṣẹjade?
Iṣẹ iṣẹlẹ n gba ni ipo 3D ati itọsọna wiwo 2D bi titẹ sii. Iṣẹ naa lẹhinna ṣe agbejade awọ kan (ni irisi RGB) ati iwuwo iwọn didun kan pato.
Lati ṣe agbejade aworan 2D kan lati oju-ọna kan pato, awoṣe yoo ṣe agbekalẹ ṣeto ti awọn aaye 3D ati ṣiṣe awọn aaye wọnyẹn nipasẹ iṣẹ iṣẹlẹ lati pada ṣeto ti awọ ati awọn iye iwuwo iwọn didun. Awọn ilana imupadabọ iwọn didun yoo lẹhinna yi awọn iye wọnyẹn pada si iṣelọpọ aworan 2D kan.
Lilo NeRF ati Awọn awoṣe Itankale 2D Papọ
Ni bayi ti a mọ bii NeRF ṣe n ṣiṣẹ, jẹ ki a wo bii awoṣe yii ṣe le ṣe agbekalẹ awọn awoṣe 3D deede lati awọn aworan ti ipilẹṣẹ.
Fun itọsi ọrọ kọọkan ti a pese, DreamFusion ṣe ikẹkọ NeRF ti ipilẹṣẹ laileto lati ibere. Aṣetunṣe kọọkan yan ipo kamẹra laileto ninu ṣeto awọn ipoidojuko iyipo. Ronu ti awoṣe ti a fi sinu aaye gilasi kan. Nigbakugba ti a ba ṣe agbejade aworan tuntun ti awoṣe 3D wa, a yoo yan aaye laileto ni aaye wa bi aaye anfani ti iṣelọpọ wa. DreamFusion yoo tun yan ipo ina laileto l lati lo fun Rendering.
Ni kete ti a ba ni kamẹra ati ipo ina, awoṣe NeRF yoo jẹ jigbe. DreamFusion yoo tun yan laileto laarin imuse awọ kan, imupadabọ awoara, ati Rendering ti albedo laisi iboji eyikeyi.
A ti sọ tẹlẹ pe a fẹ ki awoṣe ọrọ-si-aworan wa (Imagen) lati ṣe awọn aworan ti o to lati ṣẹda apẹẹrẹ aṣoju.
Bawo ni Dreamfusion ṣe aṣeyọri eyi?
Dreamfusion nirọrun ṣe atunṣe titẹ titẹ sii diẹ diẹ lati ṣaṣeyọri awọn igun ti a pinnu. Fun apẹẹrẹ, a le ṣaṣeyọri awọn igun giga giga nipa fifi “iwo oke” si itọsi wa. A le ṣe ipilẹṣẹ awọn igun miiran nipa fifi awọn gbolohun bi “iwo iwaju”, “Wiwo ẹgbẹ” ati “wiwo ẹhin”.
Awọn iwoye ti wa ni jigbe leralera lati awọn ipo kamẹra lairotẹlẹ. Awọn atunṣe wọnyi lẹhinna kọja nipasẹ iṣẹ isonu distillation Dimegilio. A o rọrun alatelelehin ona yoo laiyara mu awọn 3D awoṣe titi yoo fi baamu si aaye ti a ṣalaye nipasẹ ọrọ naa.
Ni kete ti a ti ṣe awoṣe 3D nipa lilo NeRF, a le lo Marching Cubes alugoridimu lati ṣe agbejade mesh 3D ti awoṣe wa. Asopọmọra yii le ṣe gbe wọle si awọn oluṣe 3D olokiki tabi sọfitiwia awoṣe.
idiwọn
Lakoko ti iṣelọpọ DreamFusion jẹ iwunilori to niwọn igba ti o nlo awọn awoṣe itankale ọrọ-si-aworan ti o wa ni ọna aramada, awọn oniwadi ti ṣe akiyesi awọn idiwọn diẹ.
Iṣẹ ipadanu SDS ni a ti ṣakiyesi lati gbejade awọn abajade ti o pọ ju ati didan ju. O le ṣe akiyesi eyi ni awọ aibikita ati aini awọn alaye kongẹ ti a rii ninu awọn abajade.
Algoridimu DreamFusion tun ni opin nipasẹ ipinnu ti iṣelọpọ awoṣe Imagen, eyiti o jẹ awọn piksẹli 64 x 64. Eyi nyorisi awọn awoṣe ti a ṣepọ ti ko ni awọn alaye ti o dara julọ.
Nikẹhin, awọn oniwadi ti ṣe akiyesi pe ipenija inherent kan wa ni sisọpọ awọn awoṣe 3D lati data 2D. Ọpọlọpọ awọn awoṣe 3D ti o ṣee ṣe ti a le ṣe ipilẹṣẹ lati ṣeto awọn aworan 2D, eyiti o jẹ ki iṣapeye jẹ ohun ti o nira ati paapaa aibikita.
ipari
Awọn atunṣe 3D DreamFusion ṣiṣẹ daradara nitori agbara ti awọn awoṣe itọka ọrọ-si-aworan lati ṣẹda ohun kan tabi iṣẹlẹ. O jẹ iwunilori bii nẹtiwọọki nkankikan le loye iṣẹlẹ kan ni aaye 3D laisi eyikeyi data ikẹkọ 3D. Mo ṣeduro kika naa gbogbo iwe lati ni imọ siwaju sii nipa awọn alaye imọ-ẹrọ ti DreamFusion algorithm.
Ni ireti, imọ-ẹrọ yii yoo ni ilọsiwaju lati ṣẹda awọn awoṣe 3D gidi-fọto nikẹhin. Fojuinu gbogbo awọn ere fidio tabi awọn iṣeṣiro ti o lo awọn agbegbe AI ti ipilẹṣẹ. O le dinku idena titẹsi fun awọn olupilẹṣẹ ere fidio lati ṣẹda awọn agbaye immersive 3D!
Ipa wo ni o ro pe awọn awoṣe ọrọ-si-3D yoo ṣe ni ọjọ iwaju?
Fi a Reply