B’fhéidir gur chuala tú faoi chomh cumhachtach is atá samhlacha AI téacs-go-íomhá le cúpla bliain anuas. Ach an raibh a fhios agat go bhféadfadh an teicneolaíocht chéanna cuidiú leis an léim ó 2T go 3D?
Tá cás úsáide leathan ag samhlacha 3D a ghintear le AI i dtírdhreach digiteach an lae inniu. Cluichí físeáin agus bíonn scannáin ag brath ar ealaíontóirí oilte 3D agus ar bhogearraí samhaltaithe cosúil le Cumascóir chun sócmhainní 3D a chruthú chun radhairc ríomh-ghinte a líonadh.
Mar sin féin, an bhféadfadh an tionscal meaisínfhoghlama a úsáid chun sócmhainní 3D a chruthú le níos lú iarrachta, cosúil leis an gcaoi a bhfuil ealaíontóirí 2D inniu ag tosú ar theicneolaíocht a ghlacadh mar DALL-E agus Meán-turas?
Scrúdóidh an t-alt seo algartam úrnua a dhéanann iarracht samhail éifeachtach téacs-go-3D a chruthú ag baint úsáide as atá ann cheana féin samhlacha idirleathadh.
Cad é Aisling?
Saincheist mhór amháin a bhaineann le samhail idirleata a chruthú a ghineann sócmhainní 3D go díreach ná nach bhfuil mórán sonraí 3D ar fáil. Tá samhlacha idirleata 2T tar éis éirí chomh cumhachtach sin mar gheall ar an tacar sonraí ollmhór íomhánna atá le fáil ar an idirlíon. Ní féidir an rud céanna a rá maidir le sócmhainní 3D.
Oibríonn roinnt teicníochtaí giniúna 3D timpeall ar an easpa sonraí seo trí leas a bhaint as an iliomad sonraí 2T seo.
Comhleá Aisling Is samhail ghiniúna é atá in ann samhlacha 3D a chruthú bunaithe ar chur síos téacs a chuirtear ar fáil. Úsáideann an tsamhail DreamFusion samhail idirleathadh téacs-go-íomhá réamh-oilte chun samhlacha réalaíocha tríthoiseach a ghiniúint ó leideanna téacs.
In ainneoin nach bhfuil aon sonraí oiliúna 3D ann, tá sócmhainní comhleanúnacha 3D ginte ag an gcur chuige seo le cuma agus doimhneacht ardchreidimh.
Cén chaoi a gcuireann sé Obair?
Tá dhá phríomhshamhail san algartam DreamFusion: samhail idirleata 2D agus a líonra neodrach is féidir íomhánna 2T a thiontú ina radharc 3D comhtháite.
Samhail Téacs-go-Íomhá Google Imagen
Is é an tsamhail idirleata an chéad chuid den algartam. Tá an tsamhail seo freagrach as téacs a thiontú go híomhánna.
Íomhá is samhail idirleata é atá in ann sampla mór d’éagsúlachtaí íomhá de réad áirithe a ghiniúint. Sa chás seo, ba cheart go gclúdódh ár n-éagsúlachtaí íomhá gach uillinn féideartha den rud a sholáthraítear. Mar shampla, dá mbeimis ag iarraidh samhail 3D de chapall a ghiniúint, ba mhaith linn íomhánna 2D den chapall ó gach uillinn féideartha. Is é an sprioc ná Imagen a úsáid chun an oiread faisnéise agus is féidir a sholáthar (dathanna, machnamh, dlús) don chéad mhúnla eile inár algartam.
Múnlaí 3D a Chruthú le NeRF
Ansin, úsáideann Dreamfusion múnla ar a dtugtar a Réimse Radaíochta Neural nó NeRF chun an tsamhail 3D a chruthú ón tacar íomhá ginte. Tá NeRFanna in ann radhairc chasta 3D a chruthú nuair a thugtar tacar sonraí d’íomhánna 2T.
Déanaimis iarracht tuiscint a fháil ar conas a oibríonn NeRF.
Tá sé mar aidhm ag an tsamhail feidhm radharc toirtmhéadrach leanúnach a chruthú a bheidh optamaithe ón tacar sonraí d’íomhánna 2T a soláthraíodh.
Má chruthaíonn an tsamhail feidhm, cad iad an t-ionchur agus an t-aschur?
Glacann feidhm an radhairc suíomh 3D agus treo féachana 2T mar ionchur. Ansin aschuireann an fheidhm dath (i bhfoirm RGB) agus dlús toirte sonrach.
Chun íomhá 2D a ghiniúint ó radharc sonrach, ginfidh an tsamhail sraith de phointí 3D agus rithfidh sé na pointí sin tríd an bhfeidhm radharc chun sraith de luachanna dath agus dlús toirte a thabhairt ar ais. Déanfaidh teicnící rindreála toirte na luachanna sin a thiontú ina aschur íomhá 2T.
Úsáid NeRF agus Múnlaí Idirleata 2T le Chéile
Anois go bhfuil a fhios againn conas a oibríonn NeRF, feicfimid conas is féidir leis an múnla seo samhlacha cruinne 3D a ghiniúint as ár n-íomhánna ginte.
I gcás gach leid téacs a chuirtear ar fáil, cuireann DreamFusion oiliúint ar NeRF a thosaigh go randamach ón tús. Roghnaíonn gach atriall suíomh randamach ceamara i sraith comhordanáidí sféarúla. Smaoinigh ar an tsamhail atá clúdaithe i sféar gloine. Gach uair a ghinimid íomhá nua dár múnla 3D, roghnóimid pointe randamach inár réimse mar phointe amhairc ár n-aschur. Roghnóidh DreamFusion suíomh solais randamach freisin l a úsáid le haghaidh rindreála.
Nuair a bheidh ceamara agus suíomh solais againn, déanfar múnla NeRF a rindreáil. Roghnóidh DreamFusion freisin go randamach idir rindreáil daite, rindreáil gan uigeacht, agus rindreáil an albedo gan aon scáthú.
Luaigh muid níos luaithe gur mian linn ár múnla téacs-go-íomhá (Imagen) chun go leor íomhánna a tháirgeadh chun sampla ionadaíoch a chruthú.
Conas a chuireann Dreamfusion é seo i gcrích?
Déanann Dreamfusion an leid ionchuir a mhodhnú beagán chun na huillinneacha atá beartaithe a bhaint amach. Mar shampla, is féidir linn uillinneacha ard-ingearchló a bhaint amach trí “radharc lastuas” a cheangal lenár leid. Is féidir linn uillinneacha eile a ghiniúint trí fhrásaí mar “amharc tosaigh”, “taobh-amharc”, agus “radharc cúil” a chur i gceangal leis.
Déantar radhairc a rindreáil arís agus arís eile ó shuímh ceamara randamach. Téann na léirithe sin trí fheidhm chaillteanais scóir driogtha. Cuirfidh cur chuige shliocht grádán simplí feabhas mall ar an Múnla 3D go dtí go dtagann sé leis an radharc a bhfuil cur síos air sa téacs.
Nuair a bheidh an tsamhail 3D rindreáilte againn ag baint úsáide as NeRF, is féidir linn an algartam Ciúbanna Máirseála chun mogalra 3D dár múnla a aschur. Is féidir an mogalra seo a allmhairiú ansin isteach i rindreálaithe 3D nó i mbogearraí samhaltaithe móréilimh.
Teorainneacha
Cé go bhfuil aschur DreamFusion suntasach go leor ós rud é go n-úsáideann sé samhlacha idirleata téacs-go-íomhá atá ann cheana féin ar bhealach nua, thug na taighdeoirí faoi deara roinnt teorainneacha.
Tá sé tugtha faoi deara go bhfuil torthaí rósháithithe agus ró-réidh ag baint le feidhm chaillteanais SDS. Is féidir é seo a fheiceáil sa dathú mínádúrtha agus easpa sonraí beachta a fhaightear sna haschuir.
Tá an algartam DreamFusion teoranta freisin ag réiteach aschur múnla Imagen, atá 64 x 64 picteilín. Mar thoradh air seo níl sonraí níos míne ag na samhlacha sintéiseithe.
Ar deireadh, thug na taighdeoirí faoi deara go bhfuil dúshlán bunúsach ann samhlacha 3D a shintéisiú ó shonraí 2T. Tá go leor samhlacha 3D féideartha ann ar féidir linn a ghiniúint ó shraith íomhánna 2D, rud a fhágann go bhfuil an leas iomlán a bhaint deacair go leor agus fiú débhríoch.
Conclúid
Oibríonn léirithe 3D DreamFusion chomh maith sin mar gheall ar chumas samhlacha idirleata téacs-go-íomhá chun aon réad nó radharc a chruthú. Tá sé go hiontach conas is féidir le líonra néarúil radharc i spás 3D a thuiscint gan aon sonraí oiliúna 3D. Molaim léamh an páipéar iomlán chun tuilleadh a fhoghlaim faoi shonraí teicniúla an algartam DreamFusion.
Táthar ag súil go dtiocfaidh feabhas ar an teicneolaíocht seo chun samhlacha 3D grianghraf-réalaíoch a chruthú. Samhlaigh físchluichí iomlána nó insamhaltaí a úsáideann timpeallachtaí AI-ghinte. D’fhéadfadh sé an bac iontrála d’fhorbróirí físchluichí a ísliú chun domhan tumtha 3D a chruthú!
Cén ról a bheidh ag samhlacha téacs-go-3T sa todhchaí, dar leat?
Leave a Reply