Atonu na e faʻalogo e uiga i le malosi o faʻataʻitaʻiga AI i tusitusiga-i-ata i le lua tausaga talu ai. Ae na e iloa o le tekinolosi lava lea e tasi e mafai ona fesoasoani i le oso mai le 2D i le 3D?
O fa'ata'ita'iga 3D fa'a AI e iai le fa'aoga lautele i le fa'afanua fa'atekinolosi i aso nei. taaloga vitio ma fa'alagolago ata tifaga i tusiata 3D tomai ma polokalama fa'ata'ita'i e pei o le Blender e fatu ai aseta 3D e fa'atumuina ai vaaiga fa'atupu komepiuta.
Ae ui i lea, e mafai ea e le alamanuia ona faʻaaogaina masini aʻoaʻoga e fatu ai aseta 3D ma le itiiti ifo o taumafaiga, e tutusa ma le auala ua amata ai e le au tusiata 2D i aso nei ona faʻaaogaina tekinolosi e pei ole DALL-E ma Ogatotonu o le malaga?
O lenei tusiga o le a suʻesuʻeina se tala algorithm e taumafai e fatuina se faʻataʻitaʻiga aoga-i-3D faʻaoga o loʻo iai fa'ata'ita'iga fa'asalalau.
O le a Dreamfusion?
O se tasi o fa'afitauli tele i le fa'atupuina o se fa'ata'ita'iga fa'asalalau e fa'atupu sa'o ai aseta 3D o le le tele o fa'amatalaga 3D e maua. O fa'ata'ita'iga fa'asalalau 2D ua matua mamana ona o le tele o fa'amaumauga o ata o lo'o maua ile initaneti. E le mafai foi ona fa'apea i aseta 3D.
O nisi o auala fa'atupu 3D e galue i lenei le lava o fa'amaumauga e ala i le fa'aogaina o lenei tele o fa'amaumauga 2D.
DreamFusion ose fa'ata'ita'iga fa'atupu e mafai ona fa'atupu fa'ata'ita'iga 3D e fa'atatau i se fa'amatalaga tusitusia ua tu'uina atu. O le DreamFusion fa'ata'ita'iga e fa'aaogaina se fa'ata'ita'iga fa'asalalauina o tusitusiga-i-ata na mua'i a'oa'oina e fa'atupuina fa'ata'ita'iga fa'ata'ita'i tolu-dimensional mai fa'amatalaga tusitusia.
E ui i le leai o ni faʻamatalaga aʻoaʻoga 3D, o lenei auala na faʻatupuina ai aseta 3D faʻatasi ma foliga maualuga ma le loloto.
E Faapefea Ona Galulue?
O le DreamFusion algorithm e aofia ai faʻataʻitaʻiga autu e lua: o se faʻataʻitaʻiga faʻasalalau 2D ma le a fesoʻotaʻiga faʻanoanoa e mafai ona liua ata 2D i se va'aiga 3D tu'ufa'atasi.
Google's Imagen Text-to-Image Model
O le vaega muamua o le algorithm o le faʻataʻitaʻiga faʻasalalau. O lenei fa'ata'ita'iga e nafa ma le fa'aliliuina o tusitusiga i ata.
Imagen o se fa'ata'ita'iga fa'asalalau e mafai ona fa'atupuina ai se fa'ata'ita'iga tele o fa'atusa o ata o se mea fa'apitoa. I lenei tulaga, o a tatou fesuiaiga o ata e tatau ona aofia uma ai tulimanu talafeagai o le mea ua saunia. Mo se faʻataʻitaʻiga, afai matou te mananaʻo e fai se faʻataʻitaʻiga 3D o se solofanua, matou te mananaʻo i ata 2D o le solofanua mai itu uma e mafai. O le faʻamoemoe o le faʻaaogaina o Imagen e tuʻuina atu ai le tele o faʻamatalaga e mafai ai (lanu, faʻaaliga, density) mo le isi faʻataʻitaʻiga i la tatou algorithm.
Fausia Fa'ata'ita'iga 3D ma NeRF
Le isi, Dreamfusion faʻaaogaina se faʻataʻitaʻiga e taʻua o le a Neural Radiance Field poʻo le NeRF e fatu moni le ata 3D mai le seti ata na gaosia. E mafai e NeRF ona fatuina ni vaaiga lavelave 3D e tuʻuina atu se faʻamaumauga o ata 2D.
Sei o tatou taumafai e malamalama pe faʻafefea ona galue le NeRF.
O le fa'ata'ita'iga e fa'atatau i le fa'atupuina o se fa'atinoga fa'aauau pea o le va'aiga volumetric e fa'asilisiliina mai fa'amaumauga tu'ufa'atasia o ata 2D.
Afai o le faʻataʻitaʻiga e fatuina se galuega, o le a le mea e tuʻuina atu ma gaioiga?
O le galuega fa'aaliga e ave i se nofoaga 3D ma se fa'atonuga va'ai 2D e fai ma fa'aoga. O le gaioiga e faʻaalia ai se lanu (i le tulaga o le RGB) ma se faʻamaualuga o le voluma.
Ina ia maua se ata 2D mai se vaaiga patino, o le faʻataʻitaʻiga o le a faʻatupuina se seti o togi 3D ma faʻatautaia na vaega e ala i le galuega faʻaaliga e toe faʻafoʻi ai se seti o lanu ma voluma tulaga maualuga. O le fa'aliliuina o le voluma o le a fa'aliliuina ai na fa'atatau i se ata fa'atusa 2D.
Fa'aaogā Fa'atasi Fa'ata'ita'iga NeRF ma le 2D Diffusion
I le taimi nei ua tatou iloa le auala e galue ai le NeRF, seʻi o tatou vaʻai pe faʻapefea ona mafai e lenei faʻataʻitaʻiga ona gaosia ata 3D saʻo mai a tatou ata na gaosia.
Mo fa'amatalaga tusitusia ta'itasi, e a'oa'oina e DreamFusion se NeRF amata fa'afuase'i mai le sasa. O fa'ata'ita'iga ta'itasi e filifili ai se tulaga fa'ata'ita'i pu'eata i se seti o fa'amaopoopo spherical. Mafaufau i le faʻataʻitaʻiga o loʻo faʻapipiʻiina i totonu o se tioata tioata. O taimi uma lava matou te fa'atupuina ai se ata fou o la matou fa'ata'ita'iga 3D, matou te filifilia se mea fa'afuase'i i la matou si'osi'omaga e fai ma fa'amoemoega o la matou galuega. DreamFusion o le a filifilia foi se tulaga malamalama faʻafuaseʻi l e fa'aaoga mo le fa'aliliuina.
O le taimi lava e maua ai se meapueata ma se tulaga malamalama, o le a faʻaalia se faʻataʻitaʻiga NeRF. O le DreamFusion o le a filifili faʻafuaseʻi i le va o se lanu lanu, se mea e leai ni lanu, ma se faʻaaliga o le albedo e aunoa ma se paolo.
Na matou ta'ua muamua matou te manana'o i la matou fa'ata'ita'iga tusitusiga-i-ata (Imagen) ia lava ata e fai ai se fa'ata'ita'iga fa'atusa.
E faʻapefea ona ausia e Dreamfusion lenei mea?
O le Dreamfusion e na'o le suia o le fa'aoso fa'aulu ina ia ausia le fa'amoemoe. Mo se fa'ata'ita'iga, e mafai ona tatou ausia fa'ailoga maualuluga e ala i le fa'aopoopoina o le "vaaiga i luga o le ulu" i la tatou fa'anatinati. E mafai ona tatou gaosia isi tulimanu e ala i le faʻapipiʻiina o fuaitau e pei o le "vaaiga i luma", "vaaiga itu", ma le "vaaiga i tua".
E fa'afia ona fa'aalia vaaiga mai tulaga pu'eata fa'afuase'i. O nei fa'aliliuga e pasi atu i se galuega fa'amama fa'amama sikoa. O se fa'agasologa fa'asolosolo fa'asolosolo faigofie o le a fa'aleleia malie le 3D faʻataʻitaʻiga seia fetaui ma le vaaiga o loo faamatalaina e le tusitusiga.
A maeʻa ona matou tuʻuina atu le ata 3D e faʻaaoga ai le NeRF, e mafai ona matou faʻaogaina le Marching Cubes algorithm e gaosia ai se mata 3D o la tatou fa'ata'ita'iga. E mafai ona fa'aulufale mai lea mata i totonu o fa'aliliuga ta'uta'ua 3D po'o polokalama fa'ata'ita'i.
tapulaa
E ui o le galuega a le DreamFusion e manaia tele talu ai o loʻo faʻaogaina faʻataʻitaʻiga faʻasalalau faʻasalalauga i se auala fou, ua matauina e le au suʻesuʻe ni nai tapulaʻa.
O le galuega leiloa a le SDS ua matauina e maua ai i'uga ova ma fa'amalulu. E mafai ona e matauina lenei mea i le lanu e le masani ai ma le leai o ni fa'amatalaga sa'o o lo'o maua i galuega faatino.
O le DreamFusion algorithm e faʻatapulaʻaina foʻi i le iuga o le faʻataʻitaʻiga o Imagen, o le 64 x 64 pixels. O lenei mea e taʻitaʻia ai faʻataʻitaʻiga faʻapipiʻiina e leai ni faʻamatalaga sili atu.
I le mea mulimuli, ua matauina e le au suʻesuʻe o loʻo i ai se luʻitau i le tuʻufaʻatasia o ata 3D mai faʻamaumauga 2D. E tele fa'ata'ita'iga 3D e mafai ona tatou fa'atupuina mai se seti o ata 2D, lea e fai ai le fa'ata'ita'iga e fai si faigata ma e le mautonu.
iʻuga
O fa'aliliuga 3D a DreamFusion e lelei tele ona o le malosi o fa'ata'ita'iga fa'asalalauina o tusitusiga-i-ata e fai ai so'o se mea po'o se vaaiga. E manaia le auala e mafai ai e se neural network ona malamalama i se vaaiga i le 3D avanoa e aunoa ma ni faʻamatalaga aʻoaʻoga 3D. Ou te fautuaina e faitau le pepa atoa e aʻoaʻo atili e uiga i faʻamatalaga faʻapitoa o le DreamFusion algorithm.
E fa'amoemoe, o le a fa'aleleia atili lenei tekonolosi e iu ai ina fausia ata-moni fa'ata'ita'iga 3D. Vaʻai faalemafaufau i taaloga vitio atoa poʻo faʻataʻitaʻiga e faʻaogaina ai siosiomaga faʻavae AI. E mafai ona fa'aititia ai le pa o le ulufale atu mo le au atina'e taaloga vitio e fausia ai lalolagi 3D fa'atofu!
O le a sou manatu o le a le sao o tusitusiga-i-3D faʻataʻitaʻiga o le a faia i le lumanaʻi?
Tuua se tali