O nwere ike ịbụ na ị nụla etu ụdị ederede gaa na onyonyo AI siri dị ike n'ime afọ ole na ole gara aga. Mana ị maara na otu teknụzụ ahụ nwere ike inye aka mee ka mmụba ahụ si na 2D gaa na 3D?
Ụdị 3D emepụtara AI nwere nnukwu ojiji n'ọdịdị dijitalụ nke taa. Egwuregwu vidiyo na ihe nkiri na-adabere na ndị nka 3D nwere nkà na sọftụwia nhazi dị ka Blender iji mepụta akụ 3D iji mejupụta ihe nkiri kọmputa.
Otú ọ dị, ọ ga-ekwe omume na ụlọ ọrụ ahụ nwere ike iji mmụta igwe na-emepụta akụ 3D na obere mgbalị, dị ka otú ndị na-ese ihe 2D taa si malite ịmalite nkà na ụzụ dị ka DALL-E na Njem n'etiti?
Edemede a ga-enyocha algọridim akwụkwọ ọgụgụ nke na-anwa imepụta ụdị ederede-na-3D dị irè site na iji dị adị ụdị mgbasa.
Gịnị bụ Nrọ nrọ?
Otu isi okwu na imepụta ụdị mgbasa ozi nke na-ewepụta akụrụngwa 3D ozugbo bụ na enweghị ọtụtụ data 3D dị. Ụdị mgbasa ozi 2D adịla ike n'ihi nnukwu ihe onyonyo a chọtara na ịntanetị. Enweghị ike ikwu otu ihe ahụ na akụ 3D.
Ụfọdụ usoro mmepụta ihe 3D na-arụ ọrụ gburugburu enweghị data site n'iji uru nke data 2D bara ụba a.
DreamFusion bụ ụdị mmepụta nke nwere ike ịmepụta ụdị 3D dabere na nkọwa ederede enyere. Ụdị DreamFusion na-eji ụdị mgbasa ozi ederede gaa na onyonyo a zụrụ nke ọma iji mepụta ụdị akụkụ atọ nwere ezi uche site na mkpali ederede.
N'agbanyeghị enweghị data ọzụzụ 3D, usoro a ewepụtala akụ 3D jikọtara ọnụ na ọdịdị ntụkwasị obi dị elu na omimi.
Didie ke enye ọrụ?
Algọridim DreamFusion nwere ụdị isi abụọ: ụdị mgbasa ozi 2D na a neural network nke nwere ike ịtụgharị onyonyo 2D ka ọ bụrụ ọnọdụ 3D jikọtara ọnụ.
Ihe Nlereanya Ederede gaa na Foto Google
Akụkụ mbụ nke algọridim bụ ụdị mgbasa ozi. Ihe nlereanya a bụ ọrụ maka ịtụgharị ederede ka ọ bụrụ onyonyo.
Imagen bụ ụdị mgbasa ozi nke nwere ike ịmepụta nnukwu ihe atụ nke ọdịiche oyiyi nke otu ihe. N'okwu a, ọdịiche oyiyi anyị kwesịrị ikpuchi akụkụ niile nke ihe enyere. Dịka ọmụmaatụ, ọ bụrụ na anyị chọrọ ịmepụta ụdị 3D nke ịnyịnya, anyị ga-achọ ihe oyiyi 2D nke ịnyịnya n'akụkụ niile. Ebumnuche bụ iji Imagen iji nye ozi dị ukwuu dị ka o kwere mee (agba, ntụgharị uche, njupụta) maka ihe nlereanya na-esote na algọridim anyị.
Mepụta ụdị 3D na NeRF
Na-esote, Dreamfusion na-eji ihe nlereanya a maara dị ka a Ubi Radiance Neural ma ọ bụ NeRF iji mepụta ụdị 3D n'ezie site na ihe onyonyo ewepụtara. Ndị NeRF nwere ike ịmepụta ihe nkiri 3D dị mgbagwoju anya nyere nchịkọta data nke onyonyo 2D.
Ka anyị gbalịa ịghọta ka NeRF si arụ ọrụ.
Ihe nlereanya a na-achọ ịmepụta ọrụ ọnọdụ volumetric na-aga n'ihu nke kachasị site na nchịkọta data nke onyonyo 2D enyere.
Ọ bụrụ na ihe nlereanya ahụ na-emepụta ọrụ, gịnị bụ ntinye na mmepụta?
Ọrụ ebe a na-ewe na ọnọdụ 3D yana ntụzịaka nlele 2D dị ka ntinye. Ọrụ ahụ na-ewepụta agba (n'ụdị RGB) yana njupụta olu.
Iji wepụta onyonyo 2D site n'otu ụzọ ahụ, ihe nlereanya ahụ ga-ewepụta otu isi ihe 3D wee mee isi ihe ndị ahụ site na ọrụ ọnọdụ iji weghachi otu agba na ụkpụrụ njupụta olu. Usoro ntụgharị ụda ga-agbanwe ụkpụrụ ndị ahụ ka ọ bụrụ mmepụta onyonyo 2D.
Iji NeRF na 2D Diffusion Model ọnụ
Ugbu a anyị ma ka NeRF si arụ ọrụ, ka anyị hụ ka ihe nlereanya a nwere ike isi mepụta ụdị 3D ziri ezi site na onyonyo ewepụtara anyị.
Maka ngwa ngwa ederede ọ bụla enyere, DreamFusion na-azụ NeRF ebido na-enweghị usoro site na ọkọ. Ntụgharị ọ bụla na-ahọrọ ọnọdụ igwefoto enweghị usoro na nhazi nke okirikiri. Chee echiche banyere ihe nlereanya ahụ etinyere na oghere iko. Oge ọ bụla anyị na-ewepụta onyonyo ọhụrụ nke ụdị 3D anyị, anyị ga-ahọrọ isi ihe na-enweghị ihe ọ bụla na mpaghara anyị dị ka vantage point nke mmepụta anyị. DreamFusion ga-ahọrọkwa ọnọdụ ọkụ enweghị usoro l iji maka nsụgharị.
Ozugbo anyị nwere igwefoto na ọnọdụ ọkụ, a ga-atụgharị ụdị NeRF. DreamFusion ga-ahọrọkwa n'enweghị ihe ọ bụla n'etiti nrụnye agba, nrụpụta enweghị texture, na nsụgharị nke albedo na-enweghị ndo ọ bụla.
Anyị ekwuola na mbụ na anyị chọrọ ka ụdị ederede gaa na onyonyo (Imagen) wepụta onyonyo zuru oke iji mepụta nlele nnọchi anya.
Kedu ka Dreamfusion si eme nke a?
Dreamfusion na-agbanwe ngwa ngwa ntinye ntakịrị iji nweta akụkụ ndị e bu n'obi nweta. Dịka ọmụmaatụ, anyị nwere ike nweta akụkụ elu dị elu site na itinye "nlegharị anya n'elu" na ngwa ngwa anyị. Anyị nwere ike iwepụta akụkụ ndị ọzọ site n'itinye akpaokwu dị ka "nlele ihu", "nlele akụkụ", na "nlele azụ".
A na-emegharị ihe nkiri ugboro ugboro site na ọnọdụ igwefoto enweghị usoro. Nsụgharị ndị a na-agafe na ọrụ nkwụsịtụ akara. Ụzọ mgbada gradient dị mfe ga-eji nwayọọ nwayọọ meziwanye ihe Modeldị 3D ruo mgbe ọ dabara na ebe ederede kọwara.
Ozugbo anyị jiri NeRF rụpụta ihe ngosi 3D, anyị nwere ike iji Machị Cubes algọridim iji wepụta ntupu 3D nke ihe nlereanya anyị. Enwere ike ibubata ntupu a n'ime ihe ngosi 3D na-ewu ewu ma ọ bụ ngwa nrụpụta ihe.
-agaghị emeli
Ọ bụ ezie na mmepụta DreamFusion na-adọrọ mmasị nke ukwuu ebe ọ na-eji ụdị mgbasa ozi ederede gaa na onyonyo dị ugbu a n'ụzọ ọhụụ, ndị nyocha ahụ achọpụtala oke ole na ole.
A hụla ọrụ mfu SDS ka ọ rụpụta nsonaazụ karịrị akarị na ncha. Ị nwere ike ịhụ nke a na agba na-ekwekọghị n'okike na enweghị nkọwa zuru oke dị na ntinye.
DreamFusion algọridim nwekwara oke site na mkpebi nke mmepụta ụdị Imagen, nke bụ 64 x 64 pikselụ. Nke a na-eduga n'ụdị synthesized enweghị nkọwa kacha mma.
N'ikpeazụ, ndị nchọpụta ahụ achọpụtala na enwere ihe ịma aka dị n'ịmepụta ụdị 3D site na data 2D. Enwere ọtụtụ ụdị 3D nwere ike ime nke anyị nwere ike iwepụta site na onyonyo onyonyo 2D, nke na-eme ka njikarịcha sie ike na ọbụna enweghị nghọta.
mmechi
Nsụgharị DreamFusion's 3D na-arụ ọrụ nke ọma n'ihi ike nke ụdị mgbasa ozi ederede gaa na onyonyo iji mepụta ihe ọ bụla ma ọ bụ ọnọdụ ọ bụla. Ọ na-adọrọ mmasị ka netwọkụ akwara nwere ike isi ghọta ọnọdụ na oghere 3D na-enweghị data ọzụzụ 3D ọ bụla. Ana m akwado ịgụ ya akwụkwọ dum ịmụtakwu banyere nkọwa teknuzu nke DreamFusion algọridim.
Olileanya, teknụzụ a ga-akawanye mma ka emechaa mepụta ụdị foto 3D nwere ezi uche. Cheedị echiche egwuregwu vidiyo ma ọ bụ ihe ngosi na-eji gburugburu AI mepụtara. Ọ nwere ike belata ihe mgbochi nke ntinye maka ndị mmepe egwuregwu vidiyo iji mepụta ụwa 3D imikpu!
Kedu ọrụ ị chere ụdị ederede gaa na 3D ga-arụ n'ọdịnihu?
Nkume a-aza