Is dòcha gu bheil thu air cluinntinn mu cho cumhachdach sa tha modalan AI teacsa-gu-ìomhaigh air a bhith anns na beagan bhliadhnaichean a dh’ fhalbh. Ach an robh fios agad gum faodadh an aon theicneòlas cuideachadh le leum bho 2D gu 3D?
Tha cùis cleachdaidh farsaing aig modalan 3D air an gineadh le AI ann an cruth-tìre didseatach an latha an-diugh. Video Games agus tha film an urra ri luchd-ealain sgileil 3D agus bathar-bog modaladh leithid Blender gus maoin 3D a chruthachadh gus seallaidhean air an cruthachadh le coimpiutair a lìonadh.
Ach, a bheil e comasach gum b’ urrainn don ghnìomhachas ionnsachadh innealan a chleachdadh gus maoin 3D a chruthachadh le nas lugha oidhirp, coltach ri mar a tha luchd-ealain 2D an-diugh a’ tòiseachadh a’ gabhail ri teicneòlas leithid DALL-E agus Meadhan-siubhail?
Nì an artaigil seo sgrùdadh air algorithm ùr-nodha a bhios a’ feuchainn ri modal teacsa-gu-3D èifeachdach a chruthachadh a’ cleachdadh a tha ann mar-thà modailean sgaoilidh.
Na th’ann Dreamfusion?
Is e aon phrìomh chùis le bhith a’ cruthachadh modal sgaoilidh a ghineas maoin 3D gu dìreach nach eil mòran dàta 3D ri fhaighinn. Tha modalan sgaoilidh 2D air fàs cho cumhachdach air sgàth an dàta mòr de dhealbhan a lorgar air an eadar-lìn. Chan urrainnear an aon rud a ràdh le maoin 3D.
Bidh cuid de dhòighean gineadh 3D ag obair timcheall air an dìth dàta seo le bhith a’ gabhail brath air a’ phailteas seo de dhàta 2D.
Bruadar Fusion na mhodail ginealach as urrainn modalan 3D a chruthachadh stèidhichte air tuairisgeul teacsa a chaidh a thoirt seachad. Bidh am modal DreamFusion a’ cleachdadh modal eadar-theangachaidh teacsa-gu-ìomhaigh ro-thrèanadh gus modalan trì-thaobhach fìrinneach a ghineadh bho mholaidhean teacsa.
A dh’ aindeoin nach eil dàta trèanaidh 3D ann, tha an dòigh-obrach seo air maoin 3D ciallach a chruthachadh le coltas agus doimhneachd àrd-dhìlseachd.
Ciamar a dh'obraicheas e?
Tha dà phrìomh mhodail anns an algairim DreamFusion: modail sgaoilidh 2D agus a lìon neònach as urrainn ìomhaighean 2D a thionndadh gu sealladh 3D co-leanailteach.
Modail Teacs-gu-Ìomhaigh Google Imagen
Is e a 'chiad phàirt den algairim am modail sgaoilidh. Tha uallach air a’ mhodail seo airson teacsa atharrachadh gu ìomhaighean.
Dealbh na mhodail sgaoilidh as urrainn sampall mòr de dh’ atharrachaidhean ìomhaigh de nì sònraichte a ghineadh. Anns a 'chùis seo, bu chòir na h-atharrachaidhean ìomhaigh againn a bhith a' còmhdach a h-uile ceàrnaidh den nì a chaidh a sholarachadh. Mar eisimpleir, nam biodh sinn airson modail 3D de each a chruthachadh, bhiodh sinn ag iarraidh ìomhaighean 2D den each bho gach ceàrnaidh comasach. Is e an t-amas Imagen a chleachdadh gus uimhir de dh’ fhiosrachadh a thoirt seachad (dathan, faileasan, dùmhlachd) airson an ath mhodail san algairim againn.
A’ cruthachadh mhodalan 3D le NeRF
An ath rud, bidh Dreamfusion a’ cleachdadh modail ris an canar a Raon Radiance Neural no NeRF gus am modal 3D a chruthachadh bhon t-seata ìomhaigh a chaidh a chruthachadh. Is urrainn do NeRF seallaidhean iom-fhillte 3D a chruthachadh le seata dàta de dhealbhan 2D.
Feuchaidh sinn ri tuigsinn mar a tha NeRF ag obair.
Tha am modail ag amas air gnìomh sealladh tomhas-lìonaidh leantainneach a chruthachadh air a mheudachadh bhon t-seata dàta a chaidh a thoirt seachad de dhealbhan 2D.
Ma chruthaicheas am modail gnìomh, dè an cur a-steach agus an toradh a th’ ann?
Bidh gnìomh an t-seallaidh a’ toirt a-steach àite 3D agus stiùireadh seallaidh 2D mar chur-a-steach. Bidh an gnìomh an uairsin a’ toirt a-mach dath (ann an cruth RGB) agus dùmhlachd meud sònraichte.
Gus ìomhaigh 2D a ghineadh bho shealladh sònraichte, cruthaichidh am modail seata de phuingean 3D agus ruithidh e na puingean sin tro ghnìomh an t-seallaidh gus seata de luachan dùmhlachd dath is meud a thilleadh. Tionndaidhidh dòighean tairgse meud na luachan sin gu toradh ìomhaigh 2D.
A’ cleachdadh NeRF agus Modalan Sgaoileadh 2D Còmhla
A-nis gu bheil fios againn mar a tha NeRF ag obair, chì sinn mar as urrainn don mhodail seo modalan 3D ceart a ghineadh bho na h-ìomhaighean gineadh againn.
Airson gach teachdaireachd teacsa a chaidh a thoirt seachad, bidh DreamFusion a’ trèanadh NeRF a chaidh a thòiseachadh air thuaiream bhon fhìor thoiseach. Bidh gach tionndadh a’ taghadh suidheachadh camara air thuaiream ann an seata de cho-chomharran spherical. Smaoinich air a’ mhodail a tha còmhdaichte ann an raon glainne. Gach uair a ghineas sinn ìomhaigh ùr den mhodail 3D againn, taghaidh sinn puing air thuaiream nar raon mar an sealladh den toradh againn. Taghaidh DreamFusion cuideachd suidheachadh solais air thuaiream l a chleachdadh airson rendering.
Aon uair ‘s gu bheil camara agus suidheachadh solais againn, thèid modal NeRF a thoirt seachad. Taghaidh DreamFusion cuideachd air thuaiream eadar cuibhreann dathte, cuibhreann gun inneach, agus toirt seachad an albedo gun sgàil sam bith.
Tha sinn air iomradh a thoirt na bu thràithe gu bheil sinn airson gum bi ar modal teacsa-gu-ìomhaigh (Imagen) a’ toirt a-mach ìomhaighean gu leòr gus sampall riochdachail a chruthachadh.
Ciamar a tha Dreamfusion a’ coileanadh seo?
Bidh Dreamfusion dìreach ag atharrachadh an in-chur a-steach beagan gus na ceàrnan a tha san amharc a choileanadh. Mar eisimpleir, is urrainn dhuinn ceàrnan àrdachaidh a choileanadh le bhith a’ cur “sealladh os cionn” ri ar sgiobalta. Is urrainn dhuinn ceàrnan eile a ghineadh le bhith a’ cur abairtean mar “sealladh aghaidh”, “sealladh taobh”, agus “sealladh cùil” ri chèile.
Bidh seallaidhean air an toirt seachad a-rithist bho shuidheachaidhean camara air thuaiream. Bidh na cuibhreannan sin an uairsin a’ dol tro ghnìomh call grùdaireachd sgòr. Bidh dòigh-obrach teàrnaidh caisead sìmplidh gu slaodach a’ leasachadh an Modal 3D gus am bi e a rèir an t-seallaidh a tha air a mhìneachadh san teacsa.
Aon uair ‘s gu bheil sinn air am modal 3D a thoirt seachad a’ cleachdadh NeRF, is urrainn dhuinn am modal XNUMXD a chleachdadh Algorithm maring Cubes gus mogal 3D den mhodail againn a thoirt a-mach. Faodar am mogal seo an uairsin a thoirt a-steach do thoraidhean 3D mòr-chòrdte no bathar-bog modaladh.
Crìochan
Ged a tha toradh DreamFusion drùidhteach gu leòr leis gu bheil e a’ cleachdadh mhodalan sgaoilidh teacsa-gu-ìomhaigh ann an dòigh ùr, tha an luchd-rannsachaidh air beagan chuingealachaidhean a thoirt fa-near.
Thathas air fhaicinn gu bheil gnìomh call SDS a’ toirt a-mach toraidhean a tha ro shàthaichte agus ro rèidh. Chì thu seo anns an dath mì-nàdarrach agus dìth mion-fhiosrachaidh a lorgar sna toraidhean.
Tha an algairim DreamFusion cuideachd air a chuingealachadh le rùn toradh modail Imagen, a tha 64 x 64 piogsail. Tha seo a’ ciallachadh nach eil mion-fhiosrachadh nas mionaidiche aig na modalan synthesized.
Mu dheireadh, tha an luchd-rannsachaidh air mothachadh gu bheil dùbhlan gnèitheach ann a bhith a’ co-chur mhodalan 3D bho dhàta 2D. Tha mòran mhodalan 3D comasach as urrainn dhuinn a ghineadh bho sheata de dhealbhan 2D, a tha a’ dèanamh optimization gu math duilich agus eadhon dà-sheaghach.
Co-dhùnadh
Tha cuibhreannan 3D DreamFusion ag obair cho math air sgàth comas mhodalan sgaoileadh teacsa-gu-ìomhaigh gus rud no sealladh sam bith a chruthachadh. Tha e drùidhteach mar a thuigeas lìonra neural sealladh ann an àite 3D gun dàta trèanaidh 3D sam bith. Tha mi a’ moladh leughadh an pàipear gu lèir gus barrachd ionnsachadh mu fhiosrachadh teicnigeach an algairim DreamFusion.
Tha sinn an dòchas gun tig adhartas air an teicneòlas seo gus modalan 3D fìor-dhealbhan a chruthachadh. Smaoinich air geamannan bhidio no samhlaidhean iomlan a bhios a’ cleachdadh àrainneachdan air an gineadh le AI. Dh’ fhaodadh e cnap-starra inntrigidh a lughdachadh airson luchd-leasachaidh geama bhidio gus saoghal bogaidh 3D a chruthachadh!
An dùil dè a’ phàirt a bhios aig modalan teacsa-gu-3D san àm ri teachd?
Leave a Reply