Itankale si dede ti gba agbaiye nipa iji pẹlu awọn Tu ti Dall-E2, Aworan Google, Iduroṣinṣin Itankale, Ati Irin-ajo agbedemeji, imudara imotuntun ati nina awọn aala ti ẹkọ ẹrọ.
Awọn awoṣe wọnyi le ṣe agbejade nọmba ailopin ti awọn aworan lati awọn itọ ọrọ, pẹlu photorealistic, idan, ọjọ iwaju, ati, dajudaju, awọn aworan wuyi.
Awọn agbara wọnyi tun ro ohun ti o tumọ si fun eniyan lati ni wiwo pẹlu ohun alumọni, fifun wa ni agbara lati ṣe adaṣe eyikeyi aworan ti a le rii.
Bi awọn awoṣe wọnyi ṣe ndagba tabi ilana ipilẹṣẹ ti atẹle ti n gba, awọn eniyan yoo ni anfani lati gbe awọn aworan, fiimu, ati awọn iriri immersive miiran pẹlu ero nikan.
Ni yi post, a yoo ọrọ awọn itankale awoṣe, Itankale iduroṣinṣin, bawo ni o ṣe n ṣiṣẹ, ati awoṣe itọka inpainting ikẹkọ, laarin awọn ohun miiran.
Kini awoṣe Itankale?
Awọn awoṣe ikẹkọ ẹrọ ti o le ṣẹda data tuntun lati data ikẹkọ ni a tọka si bi awọn awoṣe ipilẹṣẹ. Awọn awoṣe ipilẹṣẹ miiran pẹlu awọn awoṣe ti o da lori ṣiṣan, awọn adaṣe adaṣe iyatọ, ati awọn nẹtiwọọki adversarial ipilẹṣẹ (GANs).
Kọọkan le ṣe ina awọn aworan ti o tayọ didara. Awọn awoṣe itọka kọ ẹkọ lati gba data pada nipa yiyipada ilana fifikun ariwo yii lẹhin ibajẹ data ikẹkọ nipa fifi ariwo kun. Lati fi sii ni ọna miiran, awọn awoṣe itankale ni anfani lati ṣẹda awọn aworan ti o ni ibamu lati inu ariwo naa.
Awọn awoṣe tan kaakiri kọ ẹkọ nipa iṣafihan ariwo si awọn aworan, eyiti awoṣe nigbamii ṣe oluwa yiyọ kuro. Lati ṣe agbejade awọn iwo ojulowo, awoṣe lẹhinna lo ilana aibikita yii si awọn irugbin laileto.
Nipa ṣiṣe ilana iṣelọpọ aworan, awọn awoṣe wọnyi le ṣee lo ni apapo pẹlu itọnisọna ọrọ-si-aworan lati ṣe agbekalẹ nọmba ti ko ni opin ti awọn aworan lati ọrọ nikan. Awọn irugbin le ṣe itọsọna nipasẹ awọn igbewọle lati awọn ifibọ bii CLIP lati fun awọn agbara ọrọ-si-aworan ti o lagbara.
Awọn awoṣe itọka le ṣe awọn iṣẹ ṣiṣe lọpọlọpọ, pẹlu ṣiṣẹda aworan, didanu aworan, kikun, kikun, ati itọka diẹ.
Bayi, kini itankale iduroṣinṣin?
Itankale Iduroṣinṣin jẹ awoṣe ikẹkọ ẹrọ fun ẹda aworan ti o da lori ọrọ ti a pese nipasẹ Iduroṣinṣin.AI. O lagbara lati ṣẹda awọn aworan lati ọrọ.
Irinše ti idurosinsin itankale
Iduroṣinṣin Itankale jẹ eto ti o ni ọpọlọpọ awọn paati ati awọn imọran. Kii ṣe awoṣe kan. Nigba ti a ba ṣayẹwo lẹhin hood, ohun akọkọ ti a rii ni pe paati oye ọrọ kan wa ti o yi alaye ọrọ pada si aṣoju nọmba ti o mu awọn imọran ọrọ naa.
A le pe koodu koodu yi ni Ayipada awoṣe ede (ni imọ-ẹrọ: koodu koodu ti awoṣe CLIP). Yoo gba ọrọ titẹ sii ati ṣe ipilẹṣẹ atokọ ti awọn odidi (fekito kan) fun ọrọ kọọkan/àmi ninu ọrọ naa. Lẹhinna a pese data yẹn si Olupilẹṣẹ Aworan, eyiti o jẹ awọn paati pupọ.
Awọn igbesẹ meji wa ninu olupilẹṣẹ aworan:
1. Eleda Alaye Aworan
Awọn paati pataki ni Stable Itankale ni ano yi. O ti wa ni ibi ti awọn opolopo ninu awọn ilọsiwaju ni išẹ lori sẹyìn awọn ẹya ti wa ni ṣe.
Ẹya paati yii kọja nipasẹ awọn ipele pupọ lati pese data aworan. Ẹlẹda alaye aworan n ṣiṣẹ nikan laarin aaye alaye aworan (tabi aaye wiwaba).
O yara ju awọn awoṣe itankale iṣaaju ti o ṣiṣẹ ni aaye ẹbun nitori abuda yii. Sọ ni imọ-ẹrọ, paati yii jẹ ti algorithm ṣiṣe eto ati UNet kan Nẹtiwọki ti nhu.
Ilana ti o waye ni paati yii ni a tọka si bi "itankale". Aworan ti o ni agbara giga ni a ṣejade nikẹhin bi abajade alaye ti n ṣiṣẹ ni awọn igbesẹ (nipasẹ paati atẹle, oluyipada aworan).
2. Aworan Decoder
Lilo data ti o gba lati ọdọ olupilẹṣẹ alaye, oluyipada aworan ṣẹda aworan kan. O kan ṣiṣẹ ni ẹẹkan lati ṣẹda aworan ẹbun ti o pari ni ipari iṣẹ naa.
Idurosinsin Diffusion Impainting tutorial
Inkikun aworan Itankale iduroṣinṣin jẹ ilana ti kikun ni awọn agbegbe ti o padanu tabi ti bajẹ ti aworan kan. Idi ti inpainting aworan ni lati tọju otitọ pe a ti mu aworan naa pada.
Ilana yii ni a maa n lo nigbagbogbo lati yọkuro awọn ohun ti a kofẹ lati aworan tabi lati mu awọn agbegbe ti o bajẹ ti awọn fọto itan pada. Inpainting Itankale Iduroṣinṣin jẹ ọna aipẹ aipẹ ti kikun ti o n so awọn ipa ti o ni ileri.
Ni atẹle awọn ilana ti o wa ni isalẹ yoo jẹ ki o bẹrẹ lilọ kiri inpainting ati iyipada awọn fọto ti o wa ti o ba fẹ gbiyanju kikun pẹlu itọka iduroṣinṣin:
- Lọ si Huggingface Idurosinsin Itankale Impainting
- Po si ara rẹ aworan
- Pa abala aworan rẹ ti o nilo lati paarọ rẹ.
- Tẹ itọsi rẹ sii nibi (ohun ti o fẹ ṣafikun ni aaye ohun ti o yọ kuro)
- Yan "Ṣiṣe"
Ninu fidio oke, a gbe aworan kan pẹlu awọn lẹmọọn mẹta ati paarọ wọn fun awọn apples. Mo ṣeduro tikalararẹ lati gbiyanju rẹ pẹlu awọn fọto tirẹ ati awọn ta.
ipari
Ni gbogbogbo, inpainting titan kaakiri jẹ ọna ti o dara julọ fun iṣelọpọ awọn aworan iro tabi awọn fidio ti o han lati jẹ gidi gaan. Bi a ṣe nlọ si ilọsiwaju imọ-ẹrọ tuntun, yoo le ati siwaju sii lati ṣe iyatọ laarin ododo ati arekereke bi imọ-ẹrọ ti nlọsiwaju.
Swahir
Idaji akọkọ ko ni ibatan patapata si idaji keji. Yoo ti dara gaan ti onkọwe ba ti ṣalaye bi inpaint ṣe n ṣiṣẹ ni ilana ti awoṣe ti o ṣalaye tẹlẹ, le ti fun awọn oye. Ṣugbọn rara! Iyẹn yoo ti nilo oye gidi, dipo kikojọ ati ṣiṣiṣẹ ọrọ laileto kan.