Tej zaum koj yuav tau hnov txog li cas cov ntawv nyeem-rau-cov duab muaj zog AI qauv tau dhau los ua ob peb xyoos dhau los. Tab sis koj puas paub tias tib lub thev naus laus zis tuaj yeem pab ua kom dhia ntawm 2D mus rau 3D?
AI-tsim 3D qauv muaj cov ntaub ntawv siv dav hauv cov toj roob hauv pes digital niaj hnub no. Video ua si thiab zaj duab xis cia siab rau cov kws txawj 3D cov kws ua yeeb yam thiab cov qauv tsim software xws li Blender los tsim 3D cov cuab tam kom populate computer-generated scenes.
Txawm li cas los xij, puas yog qhov kev lag luam tuaj yeem siv tshuab kev kawm los tsim cov cuab tam 3D nrog kev siv zog tsawg, zoo ib yam li 2D cov kws ua yeeb yam niaj hnub no tab tom pib siv thev naus laus zis xws li DALL-E thiab Ib nrab hnub?
Tsab ntawv xov xwm no yuav tshawb nrhiav cov algorithm tshiab uas sim tsim cov ntawv nyeem-rau-3D qauv siv uas twb muaj lawm qauv diffusion.
Yuav ua li cas yog Npau suav?
Ib qho teeb meem loj nrog kev tsim cov qauv sib txawv uas tsim cov cuab tam 3D ncaj qha yog tias tsis muaj ntau cov ntaub ntawv 3D muaj. 2D diffusion qauv tau dhau los ua qhov muaj zog heev vim tias cov ntaub ntawv loj ntawm cov duab pom hauv internet. Tib yam tsis tuaj yeem hais nrog 3D cov cuab tam.
Qee cov txheej txheem 3D generative ua haujlwm nyob ib ncig ntawm qhov tsis muaj cov ntaub ntawv los ntawm kev ua kom zoo dua ntawm cov ntaub ntawv 2D ntau.
DreamFusion yog ib qho qauv tsim uas tuaj yeem tsim 3D qauv raws li cov lus piav qhia. Tus qauv DreamFusion siv cov qauv kawm ua ntej-rau-duab diffusion qauv los tsim cov qauv peb-dimensional tiag tiag los ntawm cov ntawv qhia.
Txawm hais tias tsis muaj cov ntaub ntawv qhia 3D, txoj hauv kev no tau tsim cov cuab yeej cuab tam 3D nrog kev ntseeg siab thiab qhov tob.
Nws Ua Haujlwm Li Cas?
DreamFusion algorithm muaj ob lub qauv tseem ceeb: tus qauv 2D diffusion thiab a neural network uas tuaj yeem hloov 2D dluab rau hauv ib qho kev sib koom ua ke 3D.
Google's Imagen Text-to-Image Model
Thawj feem ntawm lub algorithm yog tus qauv diffusion. Cov qauv no yog lub luag haujlwm rau kev hloov cov ntawv rau cov duab.
Imagen yog tus qauv diffusion uas tuaj yeem tsim cov qauv loj ntawm cov duab hloov pauv ntawm ib qho khoom tshwj xeeb. Nyob rau hauv cov ntaub ntawv no, peb cov duab variations yuav tsum npog tag nrho cov ces kaum ntawm cov khoom muab. Piv txwv li, yog tias peb xav tsim 3D qauv ntawm tus nees, peb xav tau 2D duab ntawm tus nees los ntawm txhua qhov ua tau. Lub hom phiaj yog siv Imagen los muab cov ntaub ntawv ntau npaum li qhov ua tau (xim, kev xav, qhov ceev) rau cov qauv tom ntej hauv peb cov algorithm.
Tsim 3D qauv nrog NeRF
Tom ntej no, Dreamfusion siv tus qauv hu ua a Neural Radiance Field los yog NeRF los ua tus qauv 3D los ntawm cov duab tsim. NeRFs muaj peev xwm tsim cov duab 3D nyuaj uas muab cov ntaub ntawv ntawm 2D duab.
Cia peb sim nkag siab tias NeRF ua haujlwm li cas.
Tus qauv aims los tsim ib tug nruam volumetric scene muaj nuj nqi optimized los ntawm cov muab dataset ntawm 2D dluab.
Yog tias tus qauv tsim muaj nuj nqi, qhov kev tawm tswv yim thiab cov zis yog dab tsi?
Lub scene muaj nuj nqi yuav siv sij hawm nyob rau hauv ib tug 3D qhov chaw thiab ib tug 2D saib kev taw qhia raws li cov tswv yim. Qhov kev ua haujlwm ces tso tawm xim (hauv daim ntawv ntawm RGB) thiab qhov ntim tshwj xeeb.
Txhawm rau tsim cov duab 2D los ntawm ib qho kev pom tshwj xeeb, tus qauv yuav tsim ib txheej ntawm 3D cov ntsiab lus thiab khiav cov ntsiab lus los ntawm qhov chaw ua haujlwm kom rov qab cov xim thiab ntim qhov tseem ceeb. Volume rendering techniques yuav hloov cov txiaj ntsig rau hauv 2D duab tso zis.
Siv NeRF thiab 2D Diffusion qauv ua ke
Tam sim no peb paub tias NeRF ua haujlwm li cas, cia peb saib seb tus qauv no tuaj yeem tsim cov qauv 3D raug los ntawm peb cov duab tsim.
Rau txhua qhov kev qhia ntawv tam sim ntawd, DreamFusion cob qhia ib qho kev pib pib NeRF los ntawm kos. Txhua iteration xaiv ib lub koob yees duab random txoj hauj lwm nyob rau hauv ib txheej ntawm spherical coordinates. Xav txog tus qauv encased nyob rau hauv ib lub iav sphere. Txhua zaus peb tsim cov duab tshiab ntawm peb tus qauv 3D, peb yuav xaiv qhov chaw nyob hauv peb qhov chaw raws li qhov pom ntawm peb cov zis. DreamFusion tseem yuav xaiv qhov chaw teeb pom kev zoo l siv rau rendering.
Thaum peb muaj lub koob yees duab thiab lub teeb pom kev, tus qauv NeRF yuav raug muab tso rau. DreamFusion tseem yuav random xaiv ntawm cov xim rendering, textureless render, thiab rendering ntawm albedo yam tsis muaj shading.
Peb tau hais ua ntej tias peb xav kom peb cov qauv ntawv-rau-daim duab (Imagen) tsim cov duab txaus los tsim cov qauv neeg sawv cev.
Dreamfusion ua tiav qhov no li cas?
Dreamfusion tsuas yog hloov kho cov lus qhia me ntsis kom ua tiav cov ces kaum npaj. Piv txwv li, peb tuaj yeem ua tiav lub kaum sab xis siab los ntawm kev ntxiv "kev saib nyiaj siv ua haujlwm" rau peb qhov kev xav tau. Peb tuaj yeem tsim lwm cov ces kaum los ntawm cov kab lus txuas ntxiv xws li "saib pem hauv ntej", "sab saib", thiab "rov qab saib".
Scenes tau rov ua dua los ntawm random lub koob yees duab txoj haujlwm. Cov renderings no ces dhau los ntawm qhov qhab nia distillation poob ua haujlwm. Ib qho yooj yim gradient qhovntsej thiaj tsis mob yuav maj mam txhim kho cov 3D tus qauv kom txog rau thaum nws phim lub scene piav los ntawm cov ntawv nyeem.
Thaum peb tau ua tus qauv 3D siv NeRF, peb tuaj yeem siv Marching Cubes algorithm los tso tawm 3D mesh ntawm peb cov qauv. Cov mesh no tuaj yeem raug xa mus rau hauv 3D renderers nrov lossis qauv software.
Cov kev txwv
Thaum DreamFusion cov txiaj ntsig tau zoo txaus vim nws siv cov ntawv nyeem-rau-cov duab diffusion uas twb muaj lawm hauv txoj kev tshiab, cov kws tshawb fawb tau sau tseg qee qhov kev txwv.
SDS poob kev ua haujlwm tau raug soj ntsuam los tsim cov txiaj ntsig ntau dhau thiab ua kom zoo dua. Koj tuaj yeem soj ntsuam qhov no hauv cov xim tsis zoo li qub thiab tsis muaj cov ntsiab lus meej pom hauv cov zis.
Lub DreamFusion algorithm tseem txwv los ntawm kev daws teeb meem ntawm Imagen qauv tso zis, uas yog 64 x 64 pixels. Qhov no ua rau cov qauv synthesized tsis muaj cov ntsiab lus zoo dua.
Thaum kawg, cov kws tshawb fawb tau sau tseg tias muaj kev sib tw hauv kev tsim cov qauv 3D los ntawm 2D cov ntaub ntawv. Muaj ntau ntau cov qauv 3D uas peb tuaj yeem tsim los ntawm cov duab 2D, uas ua rau kev ua kom zoo dua thiab tsis meej.
xaus
DreamFusion's 3D renderings ua haujlwm tau zoo vim tias muaj peev xwm ntawm cov ntawv nyeem-rau-duab diffusion qauv los tsim txhua yam khoom lossis scene. Nws yog qhov ua tau zoo li cas lub network neural tuaj yeem nkag siab qhov xwm txheej hauv 3D qhov chaw tsis muaj cov ntaub ntawv qhia 3D. Kuv pom zoo nyeem cov tag nrho daim ntawv kom paub ntau ntxiv txog cov ntsiab lus ntawm DreamFusion algorithm.
Vam tias, cov thev naus laus zis no yuav txhim kho kom thiaj li tsim cov duab tiag tiag 3D qauv. Xav txog tag nrho cov yeeb yaj kiab ua si lossis simulations uas siv AI-tsim ib puag ncig. Nws tuaj yeem txo qhov kev txwv tsis pub nkag rau cov neeg tsim tawm video game los tsim lub ntiaj teb 3D immersive!
Koj xav tias cov qauv ntawv-rau-3D yuav ua li cas rau yav tom ntej?
Sau ntawv cia Ncua