Ripanga o Ihirangi[Huna][Whakaatu]
Kei te mohio koe ka taea e te rorohiko te whakaahua i tetahi pikitia.
Hei tauira, ko te pikitia o te kurī e takaro tahi ana me o tamariki ka taea te whakamaori hei 'kuri me nga tamariki kei te kari.' Engari i mohio koe ka taea ano te huarahi rereke inaianei? Ka pato koe i etahi kupu, ka mahia e te miihini he pikitia hou.
Kaore i rite ki te rapunga a Google, e rapu ana i nga whakaahua o naianei, he hou katoa tenei. I nga tau tata nei, ko OpenAI tetahi o nga whakahaere rangatira, e whakaatu ana i nga hua whakamiharo.
Ka whakangungu ratou i a raatau algorithm mo nga tuhinga nui me nga papaunga pikitia. I whakaputaina e ratou he pepa mo ta ratou tauira ahua GLIDE, i whakangungua mo nga rau miriona whakaahua. Mo te ahua o te whakaahua, he pai ake i ta raatau tauira 'DALL-E' o mua.
I tenei pou, ka titiro tatou ki te OpenAI's GLIDE, tetahi o nga kaupapa whakahirahira e whai ana ki te whakaputa me te whakarereke i nga whakaahua whakaahua me nga tauira whakamaarama a-tuhi. Kia timata tatou.
he aha te mea Whakatuwheratia AI Glide?
Ahakoa ko te nuinga o nga whakaahua ka taea te whakaahua ki nga kupu, ko te hanga whakaahua mai i nga whakaurunga tuhinga me mohio mohio me te wa nui.
Ko te tuku i tetahi kaihoko AI ki te whakaputa pikitia whakaahua pono mai i te reo maori, ehara i te mea ka taea e te tangata te hanga taonga me te kanorau me te ngawari o mua engari ka taea hoki te whakamahine ngawari me te whakahaere pai o nga whakaahua i hangaia.
Ka taea te whakamahi a GLIDE ki te whakatika i nga whakaahua o naianei ma te whakamahi i nga kupu akiaki reo maori ki te whakauru i nga mea hou, te hanga atarangi me te whakaata, te mahi. peita pikitia, me te pera.
Ka taea hoki e ia te huri i nga tuhi raina taketake ki nga whakaahua whakaahua, a he mea tino pai te hanga tauira kore-tauira me te whakatika mo nga ahuatanga uaua.
Kua kitea e nga rangahau o tata nei ka taea ano e nga tauira tupara-tupatopa te whakaputa pikitia waihanga-kounga teitei, ina koa ka honoa ki te huarahi arataki e whakataurite ana i te momo me te pono.
I whakaputaina e OpenAI a tauira tohatoha arataki i te marama o Haratua, ka taea e nga tauira whakamaoritanga te here ki runga i nga tapanga o te whakarōpūtanga. Ka pai ake a GLIDE i tenei angitu ma te kawe mai i te whakamaoritanga arataki ki te raru o te hanga whakaahua-ahua.
Whai muri i te whakangungu i te tauira 3.5 piriona tawhā GLIDE diffusion e whakamahi ana i te encoder kuputuhi ki te whakatau i nga whakaahuatanga reo maori, i whakamatauria e nga kairangahau etahi atu rautaki arataki e rua: arataki CLIP me te arataki-kore-korero.
Ko te CLIP he tikanga tauineine mo te ako i nga whakakitenga tahi o nga tuhinga me nga pikitia e whakaatu ana i te kaute i runga i te tata o te ahua ki tetahi tapanga.
I whakamahia e te roopu tenei rautaki i roto i a raatau tauira whakamaarama ma te whakakapi i te whakarōpūtanga ki te tauira CLIP e "arataki" ana i nga tauira. I tenei wa, ko te arataki-kore-kore he rautaki mo te arahi i nga tauira whakamaarama kaore e uru ki te whakangungu o tetahi kaikorero motuhake.
Hangahanga GLIDE
Ko te hoahoanga GLIDE e toru nga waahanga: he Ablated Diffusion Model (ADM) i whakangungua ki te whakaputa i te ahua 64 × 64, he tauira kuputuhi (whakawhiti) e awe ana i te hanga whakaahua ma te tere kuputuhi, me tetahi tauira whakakake e huri ana i to maatau 64 × 64 iti. whakaahua ki te whakamaori ake 256 x 256 pika.
Ka mahi tahi nga wahanga tuatahi e rua ki te whakahaere i te tukanga whakaputa pikitia kia pai ai te whakaata i te tere o te kuputuhi, me te mea tuarua kia maamaa ake te maarama ki nga whakaahua ka mahia e tatou. Ko te kaupapa GLIDE i whakaawehia e a i whakaputaina i te tau 2021 i whakaatu ko nga tikanga ADM i pai ake i nga tauira whakatipu rongonui i tenei wa, i nga ahuatanga o te kounga tauira pikitia.
Mo te ADM, i whakamahia e nga kaituhi GLIDE te tauira ImageNet 64 x 64 rite ki a Dhariwal me Nichol, engari me nga hongere 512 hei utu mo te 64. Ko te tauira ImageNet he tata ki te 2.3 piriona tawhā hei hua o tenei.
Ko te roopu GLIDE, kaore i rite ki a Dhariwal me Nichol, i hiahia kia nui ake te mana whakahaere mo te mahi hanga pikitia, na reira i honoa e ratou te tauira ataata me te hurihanga aro-whakahohe. Ka hoatu e GLIDE ki a koe te mana whakahaere mo te whakaputanga o nga mahi whakaputa pikitia ma te tukatuka i nga akiaki whakauru kupu.
Ka tutuki tenei ma te whakangungu i te tauira hurihuri i runga i te huinga raraunga nui o nga whakaahua me nga tapanga (he rite ki tera i mahia i roto i te kaupapa DALL-E).
I te tuatahi ka whakawaeheretia te tuhinga ki roto i te raupapa tohu K kia pai ai. I muri i tera, ka utaina nga tohu ki roto i te tauira whakawhiti. Ko te putanga o te kaitahuri ka taea te whakamahi i nga huarahi e rua. Mo te tauira ADM, ko te whakaurunga tohu whakamutunga ka whakamahia hei utu mo te whakauru karaehe.
Tuarua, ko te paparanga whakamutunga o te whakaurunga tohu tohu – he raupapa o nga vector ahua – ka matapae motuhake ki nga ine mo ia paparanga aro i roto i te tauira ADM ka honoa ki ia horopaki aro.
I roto i te meka, ka taea e te tauira ADM te whakaputa pikitia mai i nga huinga hou o nga tohu kuputuhi rite i roto i te ahua ahurei me te ahua whakaahua, i runga i tana mohio ki nga kupu whakauru me o raatau whakaahua. He 1.2 piriona nga tawhā kei roto i tenei kaitahuri-whakawaehere kuputuhi me te whakamahi i nga poraka toenga 24 me te whanui o te 2048.
Ka mutu, kei roto i te tauira whakamaaramatanga o runga ake i te 1.5 piriona tawhā me te rereke mai i te tauira taketake na te mea he iti ake tana encoder kuputuhi, me te whanui o nga hongere turanga 1024 me te 384, ka whakaritea ki te tauira turanga. Ko tenei tauira, e ai ki te ingoa, ka awhina i te whakapai ake i te tauira kia pai ake ai te whakamaori mo nga miihini me te tangata.
Tauira tohatoha
Ka hangaia e GLIDE nga whakaahua ma te whakamahi i tana ake putanga o te ADM (ADM-G mo te "arataki"). Ko te tauira ADM-G he whakarereketanga o te tauira U-net diffusion. He tino rerekee te tauira U-kupenga tiritiri mai i nga tikanga whakahiato ahua noa penei i te VAE, GAN, me nga huringa.
Ka hangaia e ratou he mekameka Markov o nga hikoi whakamaarama ki te wero i te haruru matapōkere ki roto i nga raraunga, katahi ka ako ki te huri i te tukanga whakamaarama me te hanga ano i nga tauira raraunga e hiahiatia ana mai i te haruru anake. E rua nga wahanga: te whakamaarama whakamua me te whakamuri.
Ko te tikanga whakamaoritanga whakamua, he tohu raraunga mai i te tohatoha pono o te tauira, ka taapiri i te haruru iti ki te tauira i runga i nga raupapa hikoi tatūkē. I te piki haere o nga hikoi me te whakatata atu ki te mutunga kore, ka ngaro nga ahuatanga mohio katoa o te tauira ka timata te raupapa ki te rite ki te anau Gaussian isotropic.
I te wa o te whakamaoritanga whakamuri wāhanga, te tauira diffusion ka ako ki te huri i te awe o te haruru taapiri i runga i nga pikitia me te whakahoki i te ahua kua puta ki tona ahua taketake ma te ngana kia rite ki te tohatoha tauira whakauru taketake.
Ka taea e te tauira kua oti te mahi me te whakaurunga haruru Gaussian me te tere. He rereke te tikanga ADM-G mai i te mea o mua na te mea ko te tauira, CLIP, he kaitahuri kua whakaritea ranei, ka pa ki te wahanga whakamaaratanga whakamuri ma te whakamahi i nga tohu tere kuputuhi kua whakauruhia.
Nga kaha reke
1. Whakatupuranga Atahanga
Ko te whakamahinga tino rongonui me te whakamahi whanui o GLIDE ko te whakahiato whakaahua. Ahakoa he ahua ngawari nga pikitia, he uaua a GLIDE ki nga ahua kararehe/tangata, he tata kore mutunga te kaha mo te hanga whakaahua kotahi mapu.
Ka taea e ia te hanga whakaahua o nga kararehe, nga tangata rongonui, nga whenua, nga whare, me te maha atu, a ka taea e ia te mahi i roto i nga momo momo toi me te whakaahua-mooni. Ko nga kaituhi o nga kairangahau e kii ana ka kaha a GLIDE ki te whakamaori me te urutau i te whānuitanga o nga momo whakauru tuhinga ki roto i te whakatakotoranga ataata, penei i nga tauira i raro nei.
2. Rere inpainting
Ko te peita whakaahua aunoa a GLIDE te mea tino rawe te whakamahinga. Ka taea e GLIDE te tango i tetahi pikitia o naianei hei whakaurunga, ka tukatukahia me te whakahaunga kupu mo nga waahi me whakarereke, katahi ka ngawari ki te whakarereke i aua waahanga.
Me whakamahi tahi me te tauira whakatika, penei i te SDEdit, kia pai ake ai nga hua. Hei nga ra kei te heke mai, he mea nui pea nga taupānga e whakamahi ana i nga kaha penei ki te whakawhanake i nga huarahi whakarereke pikitia kore-waehere.
Opaniraa
Inaianei kua paahitia e matou te mahi, me mohio koe ki nga tikanga o te mahi a GLIDE, tae atu ki te whanuitanga o ona kaha ki te hanga pikitia me te whakarereke-a-ahua.
Waiho i te Reply