Kua rongo pea koe mo te kaha o nga tauira AI kuputuhi-ki-ahua i roto i nga tau e rua kua hipa. Engari i mohio koe ka taea e taua hangarau te awhina i te peke mai i te 2D ki te 3D?
Ko nga tauira 3D i hangaia e AI he keehi whakamahi whanui i roto i te whenua mamati o enei ra. kēmu ataata me te kiriata ka whakawhirinaki ki nga tohunga toi 3D me nga rorohiko whakatauira penei i te Blender ki te hanga rawa 3D ki te whakakii i nga tirohanga i hangaia e te rorohiko.
Heoi, ka taea pea e te ahumahi te whakamahi i te ako miihini ki te hanga rawa 3D me te iti ake o te kaha, he rite ki te ahua o nga kaitoi 2D i enei ra e timata ana ki te tango i nga hangarau penei i te DALL-E me Wawaenga?
Ka tirotirohia e tenei tuhinga tetahi algorithm hou e ngana ana ki te hanga tauira kupu-ki-3D whai hua ma te whakamahi o naianei tauira tohatoha.
he aha te mea Dreamfusion?
Ko tetahi take nui mo te hanga tauira whakamaarama e whakaputa tika ana i nga rawa 3D ko te kore noa o te maha o nga raraunga 3D e waatea ana. Kua kaha rawa atu nga tauira whakamaarama 2D na te nui o te huinga raraunga o nga whakaahua ka kitea i runga ipurangi. Kaore e taea te korero mo nga rawa 3D.
Ko etahi tikanga hanga 3D e mahi ana i tenei korenga o nga raraunga ma te whakamahi i te tini o nga raraunga 2D.
DreamFusion he tauira whakahiato ka taea te hanga tauira 3D i runga i te whakaahuatanga tuhinga kua whakaratohia. Ka whakamahia e te tauira DreamFusion he tauira whakamaarama tuhinga-ki-ahua kua oti te whakangungu ki te whakaputa i nga tauira ahu-toru pono mai i nga akiaki tuhinga.
Ahakoa karekau he raraunga whakangungu 3D, kua hangaia e tenei huarahi nga rawa 3D tuitui me te ahua pono me te hohonu.
Kia pehea te E mahi te reira?
Ko te DreamFusion algorithm e rua nga tauira matua: he tauira whakamaarama 2D me te te whatunga taiao ka taea te huri i nga whakaahua 2D ki te ahua 3D whakakotahi.
Te Tauira Kuputuhi-ki-Whakaahua a Google
Ko te waahanga tuatahi o te algorithm ko te tauira diffusion. Ko tenei tauira te kawenga mo te huri i nga tuhinga ki nga whakaahua.
Imagen he tauira whakamaoritanga ka taea te whakaputa tauira nui o nga rereketanga ahua o tetahi mea. I tenei keehi, ko o maatau rereketanga o te ahua me hipoki nga koki katoa o te mea kua whakaratohia. Hei tauira, ki te hiahia matou ki te whakaputa tauira 3D o te hoiho, ka hiahia matou ki nga whakaahua 2D o te hoiho mai i nga koki katoa ka taea. Ko te whainga ko te whakamahi i te Imagen ki te whakarato i nga korero maha e taea ana (tae, whakaata, kiato) mo te tauira e whai ake nei i roto i ta maatau algorithm.
Waihanga Tauira 3D me NeRF
I muri mai, ka whakamahia e Dreamfusion tetahi tauira e mohiotia ana ko a Mara Tirohanga Neural NeRF ranei ki te hanga i te tauira 3D mai i te huinga whakaahua kua hangaia. Ka taea e nga NeRF te hanga i nga tirohanga 3D uaua ka homai he huingararaunga whakaahua 2D.
Me ngana ki te mohio me pehea te mahi a te NeRF.
Ko te whainga o te tauira ki te hanga i tetahi mahi tirohanga volumetric tonu kua arotauhia mai i nga huingararaunga o nga whakaahua 2D.
Mena ka hangaia e te tauira he mahi, he aha te whakauru me te putanga?
Ka mau te mahinga tirohanga ki tetahi waahi 3D me te ahunga tirohanga 2D hei whakauru. Ko te mahi ka puta he tae (i te ahua o te RGB) me te kiato rōrahi motuhake.
Hei whakaputa whakaahua 2D mai i tetahi tirohanga motuhake, ka whakaputahia e te tauira he huinga tohu 3D ka whakahaere i aua tohu i roto i te mahinga tirohanga hei whakahoki mai i te huinga uara kiato tae me te rōrahi. Ko nga tikanga whakaputa rōrahi ka huri i aua uara hei whakaputanga whakaahua 2D.
Ma te whakamahi i nga tauira NeRF me te 2D Diffusion Tahi
Inaianei kua mohio tatou ki te mahi a te NeRF, kia kite tatou me pehea e taea ai e tenei tauira te whakaputa tauira 3D tika mai i a maatau whakaahua i hangaia.
Mo ia urupare kuputuhi kua tukuna, ka whakangungu a DreamFusion i te NeRF kua aramata matapōkeretia mai i te wahanga. Ka kowhiria e ia whitiwhiti he tuunga kamera matapōkere i roto i te huinga taunga porohita. Whakaarohia te tauira kua mau ki roto i te poroi karaihe. Ia wa ka hangaia e matou he ahua hou o ta maatau tauira 3D, ka whiriwhiria e matou he waahi matapōkere i roto i to maatau waahi hei waahi pai mo o maatau putanga. Ka whiriwhiria hoki e DreamFusion tetahi tuunga marama matapōkere l hei whakamahi mo te whakaputa.
Ina he kaamera me te waahi marama, ka tukuna he tauira NeRF. Ka whiriwhiri matapōkeretia a DreamFusion i waenga i te tāhuahua tae, te tāhuahua kakano, me te tāhuahua o te albedo kaore he whakamarumaru.
Kua korerohia e matou i mua ake nei e hiahia ana matou ki ta maatau tauira kuputuhi-ki-ahua (Whakaahua) kia nui nga whakaahua hei hanga tauira.
Me pehea te whakatutuki a Dreamfusion i tenei?
Ko te Dreamfusion he whakarereke noa i te tere whakauru kia tutuki ai nga koki e hiahiatia ana. Hei tauira, ka taea e tatou te whakatutuki i nga koki teitei ma te taapiri i te "tirohanga o runga" ki to maatau tere. Ka taea e tatou te whakaputa i etahi atu koki ma te taapiri i nga kianga penei i te "tirohanga o mua", "tirohanga taha", me te "tirohanga ki muri".
Ka whakaputahia nga ahuatanga mai i nga tuunga kamera matapōkere. Ka haere enei whakaahua ki roto i te mahinga mate whakamarumaru kaute. Ma te huarahi whakaheke rōnaki ngawari ka pai ake te Tauira 3D tae noa ki te rite ki te whakaaturanga e whakaahuatia ana e te tuhinga.
Ina oti te whakaputa i te tauira 3D ma te whakamahi i te NeRF, ka taea e taatau te whakamahi i te Hikoi Matapihi algorithm ki te whakaputa i te mata 3D o to maatau tauira. Ka taea te kawemai i tenei mata ki roto i nga kaiwhakataki 3D rongonui, i te rorohiko whakatauira ranei.
Nga whakataunga
Ahakoa he tino whakamīharo te putanga a DreamFusion mai i te mea e whakamahia ana e ia nga tauira whakamaarama tuhinga-ki-ahua i roto i te ahua hou, kua kite nga kairangahau i etahi here.
Ko te mahi ngaronga SDS kua kitea ki te whakaputa i nga hua hianga me te whakaene. Ka taea e koe te kite i tenei i roto i te tae noa me te kore o nga korero tino tika i kitea i roto i nga putanga.
Ko te DreamFusion algorithm he iti ano i te whakataunga o te putanga tauira Imagen, ko te 64 x 64 pika. Ko tenei ka arahi ki nga tauira kua whakahiatohia kaore he korero pai ake.
Ka mutu, kua kite nga kairangahau he wero nui ki te whakakotahi i nga tauira 3D mai i nga raraunga 2D. He maha nga tauira 3D ka taea e tatou te whakaputa mai i te huinga whakaahua 2D, na te mea he uaua te arotautanga me te rangirua.
Opaniraa
He pai te mahi a nga whakaahua 3D a DreamFusion na te kaha o nga tauira whakamaarama tuhinga-ki-ahua ki te hanga i tetahi ahanoa, ahuatanga ranei. He mea whakamiharo me pehea e mohio ai te whatunga neural ki tetahi whakaaturanga i te waahi 3D kaore he raraunga whakangungu 3D. Ka tūtohu ahau ki te panui i te pepa katoa ki te ako atu mo nga korero hangarau o te DreamFusion algorithm.
Ko te tumanako, ka pai ake tenei hangarau ki te hanga tauira 3D-whakaahua. Whakaarohia te katoa o nga keemu riipene whakaata, te whaihanga ranei e whakamahi ana i nga taiao i hangaia e AI. Ka whakahekehia te arai urunga mo nga kaihanga keemu ataata ki te hanga ao 3D rumaki!
Ki to whakaaro he aha te mahi a nga tauira kupu-ki-3D a muri ake nei?
Waiho i te Reply