Table of Contents[Hūnā][Hōʻike]
ʻIke paha ʻoe hiki i ke kamepiula ke wehewehe i ke kiʻi.
Eia kekahi laʻana, hiki ke unuhi ʻia ke kiʻi o kahi ʻīlio e pāʻani ana me kāu mau keiki e like me 'ʻīlio a me nā keiki i loko o ka māla.' Akā, ua ʻike paha ʻoe i ke ala ʻē aʻe i kēia manawa hiki ke hiki? Kākau ʻoe i kekahi mau huaʻōlelo, a hana ka mīkini i kiʻi hou.
ʻAʻole like me kahi hulina Google, e ʻimi nei i nā kiʻi i loaʻa, he mea hou kēia. I nā makahiki i hala iho nei, ʻo OpenAI kekahi o nā hui alakaʻi, e hōʻike ana i nā hopena kupaianaha.
Hoʻomaʻamaʻa lākou i kā lākou algorithms ma nā ʻikepili nui a me nā kiʻi. Ua paʻi lākou i kahi pepa ma kā lākou kiʻi kiʻi GLIDE, i aʻo ʻia ma nā haneli miliona o nā kiʻi. Ma ke ʻano o ka photorealism, ʻoi aku ia ma mua o kā lākou hoʻohālike mua 'DALL-E'.
Ma kēia pou, e nānā mākou i ka OpenAI's GLIDE, kekahi o nā hana hoihoi i manaʻo ʻia e hana a hoʻololi i nā kiʻi photorealistic me nā hiʻohiʻona diffusion alakaʻi kikokikona. E hoʻomaka kākou.
He aha E wehe iā AI Glide?
ʻOiai hiki ke wehewehe ʻia ka hapa nui o nā kiʻi ma nā huaʻōlelo, ʻo ka hana ʻana i nā kiʻi mai nā hoʻokomo kikokikona e pono ai ka ʻike kūikawā a me ka nui o ka manawa.
ʻO ka ʻae ʻana i kahi mea hana AI e hana i nā kiʻi photorealistic mai ka ʻōlelo kūlohelohe ʻaʻole wale e ʻae i ka poʻe e hana i nā mea ʻike waiwai a me nā ʻano like ʻole me ka maʻalahi ʻole ma mua akā e ʻae pū nō hoʻi i ka hoʻomaʻemaʻe iterative maʻalahi a me ka mana maikaʻi o nā kiʻi i hana ʻia.
Hiki ke hoʻohana ʻia ʻo GLIDE no ka hoʻoponopono ʻana i nā kiʻi i loaʻa ma o ka hoʻohana ʻana i nā kikokikona ʻōlelo kūlohelohe e hoʻokomo i nā mea hou, hana i nā aka a me nā noʻonoʻo, hana. kiʻi pena, a laila.
Hiki iā ia ke hoʻololi i nā kaha kiʻi laina kumu i nā kiʻi photorealistic, a loaʻa iā ia nā mana hana hana a me ka hoʻoponopono ʻana no nā kūlana paʻakikī.
Ua hōʻike ʻia ka noiʻi hou ʻana e hiki nō i nā kumu hoʻohālike hoʻoheheʻe ʻia ke hana i nā kiʻi synthetic kiʻekiʻe, ʻoiai ke hui pū ʻia me kahi ala alakaʻi e kaulike ana i nā ʻano like ʻole a me ka hilinaʻi.
Ua hoʻopuka ʻo OpenAI i kahi kumu hoʻohālike alakaʻi i Mei, ka mea e hiki ai i nā kumu hoʻohālike ke kau ʻia ma luna o nā lepili o kahi classifier. Hoʻomaikaʻi ʻo GLIDE i kēia kūleʻa ma o ka lawe ʻana i ka diffusion alakaʻi i ka pilikia o ka hana ʻana i nā kiʻi kūlana kikokikona.
Ma hope o ka hoʻomaʻamaʻa ʻana i kahi kumu hoʻohālike GLIDE diffusion 3.5 biliona me ka hoʻohana ʻana i kahi encoder kikokikona e hoʻoponopono i nā wehewehe ʻōlelo kūlohelohe, ua hoʻāʻo nā mea noiʻi i ʻelua kumu alakaʻi alakaʻi: alakaʻi CLIP a me ke alakaʻi ʻole classifier.
ʻO CLIP kahi ʻenehana hiki ke hoʻonui ʻia no ke aʻo ʻana i nā hōʻike hui ʻana o nā kikokikona a me nā kiʻi e hāʻawi i ka helu ma muli o ke kokoke ʻana o kahi kiʻi i kahi caption.
Ua hoʻohana ka hui i kēia hoʻolālā i kā lākou mau hiʻohiʻona diffusion ma o ka hoʻololi ʻana i ka classifier me kahi hoʻohālike CLIP e "alakaʻi" i nā kumu hoʻohālike. I kēia manawa, ʻo ke alakaʻi classifier-free kahi hoʻolālā no ke kuhikuhi ʻana i nā hiʻohiʻona diffusion ʻaʻole i komo i ka hoʻomaʻamaʻa ʻana i kahi papa hoʻokaʻawale.
Hoʻolālā GLIDE
He ʻekolu ʻāpana ka papa hana GLIDE: kahi Ablated Diffusion Model (ADM) i hoʻomaʻamaʻa ʻia e hana i kahi kiʻi 64 × 64, kahi ʻano kikokikona (transformer) e hoʻohuli i ka hana kiʻi ma o ka wikiwiki kikokikona, a me kahi hiʻohiʻona upsampling e hoʻololi i kā mākou 64 × 64 liʻiliʻi. nā kiʻi i ka 256 x 256 pixels hiki ke wehewehe.
Hana pū nā ʻāpana mua ʻelua e hoʻomalu i ke kaʻina hana hana kiʻi i mea e hōʻike pono ai i ka wikiwiki kikokikona, aʻo nā mea hope e pono ai e hoʻomaʻamaʻa i nā kiʻi a mākou e hana ai. Ua hoʻoulu ʻia ka papahana GLIDE e a hōʻike i paʻi ʻia ma 2021 i hōʻike ʻia ua ʻoi aku ka maikaʻi o nā ʻenehana ADM i nā hiʻohiʻona generative kaulana i kēia manawa ma ke ʻano o ka maikaʻi o ka laʻana kiʻi.
No ka ADM, ua hoʻohana nā mea kākau GLIDE i ka hiʻohiʻona ImageNet 64 x 64 e like me Dhariwal a me Nichol, akā me nā kaha 512 ma kahi o 64. ʻO ka model ImageNet he 2.3 billion mau palena ma muli o kēia.
ʻO ka hui GLIDE, ʻaʻole like me Dhariwal a me Nichol, makemake lākou e loaʻa ka mana pololei ma luna o ke kaʻina hana kiʻi, no laila ua hoʻohui lākou i ka hiʻohiʻona hiʻohiʻona me kahi transformer hiki ke nānā. Hāʻawi ʻo GLIDE iā ʻoe i ka mana ma luna o ke kaʻina hana hoʻopuka kiʻi ma o ka hoʻoponopono ʻana i nā ʻōkuhi kikokikona.
Hoʻokō ʻia kēia ma ka hoʻomaʻamaʻa ʻana i ke kumu hoʻohālike ma kahi ʻikepili nui kūpono o nā kiʻi a me nā captions (e like me ka mea i hana ʻia ma ka papahana DALL-E).
Hoʻopili mua ʻia ka kikokikona i kahi pūʻulu o nā hōʻailona K i mea e hoʻoponopono ai. Ma hope o kēlā, hoʻokomo ʻia nā hōʻailona i kahi hoʻohālike transformer. Hiki ke hoʻohana ʻia ka puka o ka transformer ma nā ʻano ʻelua. No ke kumu hoʻohālike ADM, hoʻohana ʻia ka hoʻopili ʻana i ka hōʻailona hope ma kahi o ka hoʻopili papa.
ʻO ka lua, ʻo ka papa hope loa o ka hoʻopili ʻana o nā hōʻailona – he pūʻulu o nā vectors hiʻohiʻona – ua hoʻolālā kūʻokoʻa ʻia i nā ana no kēlā me kēia papa nānā i ke kumu hoʻohālike ADM a hoʻohui ʻia i kēlā me kēia pōʻaiapili.
ʻO kaʻoiaʻiʻo, hiki i kēia ke hana i ke kiʻi ADM e hana i kahi kiʻi mai nā hui hou o nā hōʻailona kikokikona like ma ke ʻano kūʻokoʻa a me ka photorealistic, ma muli o kona ʻike aʻo ʻana i nā huaʻōlelo hoʻokomo a me kā lākou mau kiʻi pili. Loaʻa i kēia mea hoʻololi kikokikona he 1.2 biliona mau ʻāpana a hoʻohana i 24 mau poloka koena me ka laula o 2048.
ʻO ka mea hope loa, ʻo ka upsampler diffusion model e pili ana ma kahi o 1.5 biliona mau ʻāpana a ʻokoʻa mai ke kumu hoʻohālike ma muli o ka liʻiliʻi o kāna encoder kikokikona, me ka laula o 1024 a me 384 mau kahawai kumu, i hoʻohālikelike ʻia me ke kumu hoʻohālike. ʻO kēia kumu hoʻohālike, e like me ka inoa i hōʻike ʻia, kōkua i ka hoʻomaikaʻi ʻana i ka hāpana i mea e hoʻomaikaʻi ai i ka wehewehe ʻana no nā mīkini a me nā kānaka.
kŘkohu diffusion
Hoʻopuka ʻo GLIDE i nā kiʻi me ka hoʻohana ʻana i kāna mana ponoʻī o ka ADM (ADM-G no "alakaʻi"). ʻO ke kumu hoʻohālike ADM-G kahi hoʻololi o ka diffusion U-net model. He ʻokoʻa loa ka hoʻohālike U-net diffusion mai nā ʻenehana hoʻohui kiʻi maʻamau e like me VAE, GAN, a me nā mea hoʻololi.
Hoʻokumu lākou i kahi kaula Markov o nā ʻanuʻu diffusion e hoʻokomo mālie i ka walaʻau i loko o ka ʻikepili, a laila aʻo e hoʻohuli i ke kaʻina diffusion a kūkulu hou i nā ʻikepili i koi ʻia mai ka walaʻau wale nō. Hana ʻia i ʻelua mau ʻanuʻu: ka hoʻolaha ʻana i mua a i hope.
ʻO ke ʻano hoʻopuehu i mua, hāʻawi ʻia i kahi kikoʻī mai ka puʻunaue maoli o ka hāpana, hoʻohui i kahi leo liʻiliʻi i ka hāpana ma luna o kahi pūʻulu ʻanuʻu. I ka hoʻonui ʻana o nā ʻanuʻu i ka nui a kokoke i ka palena ʻole, nalowale ka laʻana i nā hiʻohiʻona ʻike ʻike ʻia a hoʻomaka ke kaʻina e like me kahi ʻāpana isotropic Gaussian.
I ka wā o ka laha ʻana i hope pae, ke kŘkohu diffusion aʻo e hoʻohuli i ka mana o ka walaʻau i hoʻohui ʻia ma nā kiʻi a alakaʻi i ke kiʻi i hana ʻia e hoʻi i kona ʻano kumu ma ka hoʻāʻo ʻana e like me ka hāʻawi ʻana i ka hāpana hoʻokomo kumu.
Hiki i ke kŘkohu hoʻopau ke hana pēlā me ka hoʻokomo leo Gaussian maoli a me ka wikiwiki. ʻOkoʻa ke ʻano ADM-G mai ka mea ma mua ma ke ʻano he kumu hoʻohālike, ʻo CLIP a i ʻole ka mea hoʻololi maʻamau, e hoʻopilikia i ka pae hoʻopulapula hope ma o ka hoʻohana ʻana i nā hōʻailona wikiwiki kikokikona i hoʻokomo ʻia.
Hiki ke holo
1. Hanau kiʻi
ʻO ka hoʻohana kaulana a hoʻohana nui ʻia o GLIDE ʻo ia paha ke kiʻi synthesis. ʻOiai he haʻahaʻa nā kiʻi a paʻakikī ʻo GLIDE me nā ʻano holoholona/kanaka, ʻaneʻane pau ʻole ka hiki ke hana kiʻi kiʻi hoʻokahi.
Hiki iā ia ke hana i nā kiʻi o nā holoholona, nā mea kaulana, nā ʻāina, nā hale, a me nā mea ʻē aʻe, a hiki iā ia ke hana i nā ʻano kiʻi like ʻole a me ke kiʻi maoli. Manaʻo nā mea kākau o ka poʻe noiʻi hiki iā GLIDE ke wehewehe a hoʻololi i nā ʻano kikoʻī ākea ākea i kahi ʻano hiʻohiʻona, e like me ka ʻike ʻia ma nā laʻana ma lalo nei.
2. Holo i ka pena
ʻO ka pena kiʻi ʻakomi a GLIDE ka mea hoʻohana hoihoi loa. Hiki iā GLIDE ke kiʻi i ke kiʻi i loaʻa ma ke ʻano he hoʻokomo, e hana me ka manaʻo kikokikona no nā wahi pono e hoʻololi ʻia, a laila e hana maʻalahi i nā hoʻololi ʻana i kēlā mau ʻāpana.
Pono e hoʻohana pū ʻia me kahi kumu hoʻoponopono, e like me SDEdit, e hoʻopuka i nā hopena maikaʻi aʻe. I ka wā e hiki mai ana, he mea koʻikoʻi paha nā polokalamu e hoʻohana i nā mana e like me kēia i ka hoʻomohala ʻana i nā ala hoʻololi kiʻi code-free.
Panina
I kēia manawa ua hele mākou i ke kaʻina hana, pono ʻoe e hoʻomaopopo i ke kumu o ka hana ʻana o GLIDE, a me ka laulā o kona hiki ke hana i nā kiʻi a me ka hoʻololi ʻana i ke kiʻi.
Waiho i ka Reply