Atọka akoonu[Fipamọ][Ifihan]
O ṣeese julọ mọ pe kọnputa le ṣe apejuwe aworan kan.
Fun apẹẹrẹ, aworan aja kan ti o nṣire pẹlu awọn ọmọ rẹ ni a le tumọ si 'aja ati awọn ọmọde ninu ọgba.' Ṣugbọn ṣe o mọ pe ọna idakeji ni ayika jẹ eyiti o ṣee ṣe daradara bi? O tẹ diẹ ninu awọn ọrọ, ati pe ẹrọ naa ṣe agbejade aworan tuntun.
Ko dabi wiwa Google kan, eyiti o ṣawari awọn fọto ti o wa, gbogbo eyi jẹ tuntun. Ni awọn ọdun aipẹ, OpenAI ti jẹ ọkan ninu awọn ẹgbẹ ti o ṣaju, ṣe ijabọ awọn abajade iyalẹnu.
Wọn kọ awọn algoridimu wọn lori ọrọ nla ati awọn apoti isura infomesonu aworan. Wọn ṣe atẹjade iwe kan lori awoṣe aworan GLIDE wọn, eyiti o jẹ ikẹkọ lori awọn ọgọọgọrun miliọnu awọn fọto. Ni awọn ofin ti photorealism, o tayọ awoṣe 'DALL-E' ṣaaju wọn.
Ninu ifiweranṣẹ yii, a yoo wo OpenAI's GLIDE, ọkan ninu ọpọlọpọ awọn ipilẹṣẹ iyalẹnu ti o ni ero lati ṣe agbejade ati yiyipada awọn aworan fọtoyiya pẹlu awọn awoṣe itọka ọrọ-ọrọ. Jẹ ká bẹrẹ.
ohun ti o jẹ Ṣi AI Glide?
Lakoko ti ọpọlọpọ awọn aworan ni a le ṣe apejuwe ni awọn ọrọ, ṣiṣẹda awọn aworan lati awọn igbewọle ọrọ nilo imọ amọja ati iye akoko pataki.
Gbigba oluranlowo AI lati gbejade awọn aworan fọtoyiya lati awọn itọsi ede adayeba kii ṣe gba eniyan laaye lati ṣẹda ọlọrọ ati awọn ohun elo wiwo ti o yatọ pẹlu irọrun airotẹlẹ ṣugbọn o tun gba laaye fun isọdọtun aṣetunṣe ti o rọrun ati iṣakoso didara-dara ti awọn aworan ti a ṣẹda.
GLIDE le ṣee lo lati satunkọ awọn fọto ti o wa tẹlẹ nipa lilo awọn itọka ọrọ ede adayeba lati fi awọn nkan titun sii, ṣẹda awọn ojiji ati awọn ifojusọna, ṣe aworan inpainting, ati bẹbẹ lọ.
O tun le yi awọn iyaworan laini ipilẹ pada si awọn fọto fọtoyiya, ati pe o ni iṣelọpọ-apẹẹrẹ odo alailẹgbẹ ati awọn agbara atunṣe fun awọn ipo idiju.
Iwadi aipẹ ti ṣe afihan pe awọn awoṣe ti o da lori o ṣeeṣe tun le gbe awọn aworan sintetiki ti o ni agbara giga, ni pataki nigbati a ba ni idapo pẹlu ọna itọsọna ti o ṣe iwọntunwọnsi oniruuru ati iṣotitọ.
OpenAI ṣe atẹjade kan dari tan kaakiri awoṣe ni Oṣu Karun, eyiti o fun laaye awọn awoṣe itankale lati wa ni ipo lori awọn akole ti olutọpa. GLIDE ni ilọsiwaju lori aṣeyọri yii nipa mimu itankale itọsọna wa si iṣoro ti ẹda aworan-ọrọ.
Lẹhin ikẹkọ awoṣe paramita 3.5 bilionu GLIDE nipa lilo koodu koodu kan si ipo lori awọn apejuwe ede ti ara, awọn oniwadi ṣe idanwo awọn ilana itọsọna yiyan meji: itọsọna CLIP ati itọsọna ti ko ni iyasọtọ.
CLIP jẹ ilana ti iwọn fun kikọ awọn aṣoju apapọ ti ọrọ ati awọn aworan ti o ṣe agbejade Dimegilio kan ti o da lori bii aworan ti sunmọ akọle kan.
Ẹgbẹ naa lo ilana yii ni awọn awoṣe itọka wọn nipa fidipo classifier pẹlu awoṣe CLIP ti o “ṣe itọsọna” awọn awoṣe. Nibayi, itoni-ọfẹ classifier jẹ ilana kan fun didari awọn awoṣe itankale ti ko kan ikẹkọ ti oluyatọ lọtọ.
glide Architecture
Itumọ GLIDE ni awọn paati mẹta: Awoṣe Diffusion Ablated (ADM) ti a kọ lati ṣe agbekalẹ aworan 64 × 64, awoṣe ọrọ kan (ayipada) ti o ni ipa lori iran aworan nipasẹ itọ ọrọ, ati awoṣe iṣagbega ti o yi 64 × 64 kekere wa pada. awọn aworan si diẹ itumọ awọn piksẹli 256 x 256.
Awọn paati akọkọ meji ṣiṣẹ papọ lati ṣakoso ilana ti ipilẹṣẹ aworan ki o ṣe afihan ni deede ti itọ ọrọ, lakoko ti o nilo igbehin lati jẹ ki awọn aworan ti a ṣẹda rọrun lati loye. Ise agbese GLIDE ni atilẹyin nipasẹ a Iroyin ti a tẹjade ni ọdun 2021 ti o fihan pe awọn ilana ADM ti o pọju ti o gbajumo lọwọlọwọ, awọn awoṣe ipilẹṣẹ-ti-ti-aworan ni awọn ọna ti didara apẹẹrẹ aworan.
Fun ADM, awọn onkọwe GLIDE lo awoṣe ImageNet 64 x 64 kanna bi Dhariwal ati Nichol, ṣugbọn pẹlu awọn ikanni 512 dipo 64. Awoṣe ImageNet ni awọn iwọn 2.3 bilionu ni aijọju bi abajade eyi.
Ẹgbẹ GLIDE, ko dabi Dhariwal ati Nichol, fẹ lati ni iṣakoso taara ti o tobi julọ lori ilana ti ipilẹṣẹ aworan, nitorinaa wọn ṣe idapo awoṣe wiwo pẹlu ẹrọ oluyipada akiyesi. GLIDE n fun ọ ni iṣakoso diẹ lori iṣelọpọ ilana iṣelọpọ aworan nipasẹ sisẹ awọn titẹ ọrọ titẹ sii.
Eyi ni ṣiṣe nipasẹ ikẹkọ awoṣe oluyipada lori iwe data nla ti o baamu ti awọn fọto ati awọn akọle (bii eyi ti a gbaṣẹ ni iṣẹ akanṣe DALL-E).
Awọn ọrọ ti wa ni ibẹrẹ koodu sinu onka ti K àmi ni ibere lati majemu ti o. Lẹhin iyẹn, awọn ami ti wa ni ti kojọpọ sinu awoṣe transformer. Ijade ti transformer le lẹhinna ṣee lo ni awọn ọna meji. Fun awoṣe ADM, ifibọ ami ami ipari ni a lo dipo ifibọ kilasi.
Ẹlẹẹkeji, awọn ifibọ àmi 'ipin Layer - kan lẹsẹsẹ ti ẹya ara ẹrọ fekito - ti wa ni iṣẹ akanṣe ominira si awọn iwọn fun kọọkan akiyesi Layer ni ADM awoṣe ati concatenated si kọọkan akiyesi o tọ.
Ni otitọ, eyi jẹ ki awoṣe ADM ṣe agbejade aworan kan lati awọn akojọpọ tuntun ti awọn ami ọrọ ti o jọra ni aṣa alailẹgbẹ ati fọtoyiya, ti o da lori oye ti o kọ ẹkọ ti awọn ọrọ igbewọle ati awọn aworan ti o jọmọ wọn. Ayipada ọrọ-iyipada ọrọ ni awọn ayeraye 1.2 bilionu ati gba iṣẹ awọn bulọọki ajẹkù 24 pẹlu iwọn ti 2048.
Lakotan, awoṣe itagbangba upsampler pẹlu awọn iwọn 1.5 bilionu ati yatọ lati awoṣe ipilẹ ni pe koodu koodu rẹ kere, pẹlu iwọn ti 1024 ati awọn ikanni ipilẹ 384, ni akawe si awoṣe ipilẹ. Awoṣe yii, bi orukọ ṣe tọka si, ṣe iranlọwọ ni iṣagbega ti ayẹwo lati le ni ilọsiwaju itumọ fun awọn ẹrọ mejeeji ati eniyan.
Awoṣe tan kaakiri
GLIDE ṣe ipilẹṣẹ awọn aworan ni lilo ẹya tirẹ ti ADM (ADM-G fun “itọnisọna”). Awoṣe ADM-G jẹ iyipada ti awoṣe U-net tan kaakiri. Awoṣe U-net tan kaakiri yato ni iyalẹnu si awọn ilana imuṣiṣẹpọ aworan ti o wọpọ bii VAE, GAN, ati awọn oluyipada.
Wọn kọ ẹwọn Markov ti awọn igbesẹ kaakiri lati rọ ariwo laileto diẹdiẹ sinu data naa, ati lẹhinna kọ ẹkọ lati yi ilana itanka pada ati tun awọn ayẹwo data ti o nilo lati ariwo nikan. O ṣiṣẹ ni awọn ipele meji: siwaju ati yiyipada itankale.
Ọna itankale siwaju, ti a fun ni aaye data kan lati pinpin tootọ ti ayẹwo, ṣafikun iye kekere ti ariwo si apẹẹrẹ lori lẹsẹsẹ tito tẹlẹ ti awọn igbesẹ. Bi awọn igbesẹ ti n pọ si ni iwọn ati isunmọ ailopin, ayẹwo npadanu gbogbo awọn abuda idanimọ ati pe lẹsẹsẹ bẹrẹ lati jọra isopo Gaussian isotropic.
Lakoko itanka sẹhin alakoso, awọn awoṣe itankale Kọ ẹkọ lati yi ipa ti ariwo ti a fi kun lori awọn aworan pada ki o darí aworan ti a ṣejade pada si apẹrẹ atilẹba rẹ nipa igbiyanju lati jọra pinpin apẹẹrẹ igbewọle atilẹba.
Awoṣe ti o pari le ṣe bẹ pẹlu igbewọle ariwo Gaussian gidi ati itọka kan. Ọna ADM-G yatọ lati ọkan ti iṣaaju ninu awoṣe yẹn, boya CLIP tabi oluyipada ti a ṣe adani, ni ipa lori ipele itankalẹ sẹhin nipa lilo awọn ami itọka ọrọ ti o wa ni titẹ sii.
Awọn agbara gbigbe
1. Iran ti Aworan
Lilo olokiki julọ ati lilo pupọ ti GLIDE yoo ṣee ṣe iṣelọpọ aworan. Botilẹjẹpe awọn aworan jẹ iwọntunwọnsi ati pe GLIDE ni iṣoro pẹlu awọn fọọmu ẹranko/eda eniyan, agbara fun iṣelọpọ aworan kan ti fẹrẹẹ ailopin.
O le ṣẹda awọn fọto ti awọn ẹranko, awọn olokiki, awọn oju-ilẹ, awọn ile, ati pupọ diẹ sii, ati pe o le ṣe ni ọpọlọpọ awọn aṣa aworan bii fọto-otitọ. Awọn onkọwe ti awọn oniwadi fi idi rẹ mulẹ pe GLIDE ni o lagbara lati tumọ ati ṣatunṣe ọpọlọpọ awọn igbewọle ọrọ sinu ọna kika wiwo, bi a ti rii ninu awọn apẹẹrẹ ni isalẹ.
2. Glide inpainting
Kikun fọto aladaaṣe GLIDE jẹ ijiyan lilo ti o fanimọra julọ. GLIDE le ya aworan ti o wa bi titẹ sii, ṣe ilana rẹ pẹlu itọsi ọrọ ni lokan fun awọn ipo ti o nilo lati yipada, ati lẹhinna ṣe awọn iyipada ti nṣiṣe lọwọ si awọn apakan wọnyẹn pẹlu irọrun.
O gbọdọ lo ni apapo pẹlu awoṣe ṣiṣatunṣe, gẹgẹbi SDEdit, lati ṣe awọn abajade to dara julọ paapaa. Ni ọjọ iwaju, awọn ohun elo ti o lo anfani awọn agbara bii iwọnyi le ṣe pataki ni idagbasoke awọn ọna iyipada-aworan ti ko ni koodu.
ipari
Ni bayi ti a ti kọja ilana naa, o yẹ ki o loye awọn ipilẹ ti bii GLIDE ṣe n ṣiṣẹ, bakanna bi ibú awọn agbara rẹ ni ṣiṣẹda aworan ati iyipada aworan.
Fi a Reply