Tafole ea likateng[Pata][Bontša]
Mohlomong ua tseba hore komporo e ka hlalosa setšoantšo.
Ka mohlala, setšoantšo sa ntja e bapalang le bana ba hao se ka fetoleloa e le 'ntja le bana serapeng.' Empa na u ne u tseba hore ho fapana le hoo hona joale hoa khoneha? U ngola mantsoe a mang, 'me mochine o hlahisa setšoantšo se secha.
Ho fapana le patlo ea Google, e batlisisang linepe tse teng, tsena kaofela li ncha. Lilemong tsa morao tjena, OpenAI esale e le e 'ngoe ea mekhatlo e etelletseng pele, e tlalehang liphetho tse makatsang.
Ba koetlisa li-algorithms tsa bona ho li-database tse kholo tsa mongolo le litšoantšo. Ba ile ba hatisa pampiri ea setšoantšo sa bona sa GLIDE, se neng se koetliselitsoe lifoto tse limilione tse makholo. Mabapi le photorealism, e feta mohlala oa bona oa pele oa 'DALL-E'.
Ka poso ena, re tla sheba OpenAI's GLIDE, e leng e 'ngoe ea matsapa a mangata a khahlang a reretsoeng ho hlahisa le ho fetola linepe tsa litšoantšo ka mefuta ea phallo ea mongolo. Ha re qaleng.
ke eng Bula AI Glide?
Le hoja litšoantšo tse ngata li ka hlalosoa ka mantsoe, ho etsa litšoantšo ho tsoa ho mongolo ho hloka tsebo e khethehileng le nako e ngata.
Ho lumella moemeli oa AI ho hlahisa litšoantšo tsa litšoantšo tse tsoang ho maikutlo a puo ea tlhaho ha ho lumelle feela batho ho etsa lintho tse bonahalang tse ruileng le tse fapaneng ka boiketlo bo e-s'o ka bo e-ba teng, empa hape ho lumella ntlafatso e bonolo e pheta-phetoang le taolo e ntle ea litšoantšo tse entsoeng.
GLIDE e ka sebelisoa ho hlophisa linepe tse seng li ntse li le teng ka ho sebelisa litlatsetso tsa mongolo oa puo ea tlhaho ho kenya lintho tse ncha, ho theha meriti le litšoantšo, ho etsa lintho tse ncha. ho penta litšoantšo, joalo joalo.
E ka boela ea fetola metako ea mantlha hore e be linepe tsa lifoto, 'me e na le lisebelisoa tse ikhethang tsa ho etsa le ho lokisa lisampole bakeng sa maemo a thata.
Lipatlisiso tsa morao-rao li bonts'itse hore mefuta e fapaneng ea liphatlalatso le eona e ka hlahisa litšoantšo tsa maiketsetso tsa boleng bo holimo, haholo ha li kopantsoe le mokhoa o tataisang o leka-lekaneng ho fapana le ho tšepahala.
OpenAI e phatlalalitse a mohlala oa phano ea tataiso ka Mots'eanong, e lumellang mefuta ea phatlalatso hore e be le maemo ho li-labels tsa sehlopha. GLIDE e ntlafala katlehong ena ka ho tlisa phallo e tataisoang bothateng ba tlhahiso ea litšoantšo e nang le maemo a itseng.
Ka mor'a ho koetlisa 3.5 bilione paramethara ea GLIDE mokhoa oa ho hasanya ho sebelisa mongolo oa khouto ho lumellana le litlhaloso tsa puo ea tlhaho, bafuputsi ba ile ba leka mekhoa e 'meli e tataisang: tataiso ea CLIP le tataiso e se nang lihlopha.
CLIP ke mokhoa o ka senyehang oa ho ithuta liemeli tse kopaneng tsa mongolo le litšoantšo tse fanang ka lintlha ho latela hore na setšoantšo se haufi hakae le mongolo.
Sehlopha se sebelisitse leano lena mefuteng ea bona ea phano ka ho beha mokhethoa ka mofuta oa CLIP o "tataisang" mefuta. Ho sa le joalo, tataiso e se nang lihlopha ke leano la ho tsamaisa mefuta ea phallo e sa kenyelletseng koetliso ea sehlopha se arohaneng.
GLIDE Architecture
Moralo oa GLIDE o na le likarolo tse tharo: Mohlala oa Ablated Diffusion Model (ADM) o koetliselitsoeng ho hlahisa setšoantšo sa 64 × 64, mofuta oa mongolo (transformer) o susumetsang tlhahiso ea litšoantšo ka molaetsa oa mongolo, le mohlala o ntlafalitsoeng o fetolang 64 × 64 ea rona e nyane. litšoantšo ho feta 256 x 256 dipikselse tse tolokwang.
Likarolo tse peli tsa pele li sebetsa 'moho ho laola mokhoa oa ho hlahisa litšoantšo e le hore o bonahatse ka mokhoa o nepahetseng molaetsa oa mongolo, athe oa morao-rao o hlokeha ho etsa hore litšoantšo tseo re li thehang li utloisisehe habonolo. Morero oa GLIDE o khothalelitsoe ke a tlaleho e phatlalalitsoeng ka 2021 e ileng ea bontša hore mekhoa ea ADM e tsoetse pele ho feta mefuta ea hona joale e tsebahalang, ea morao-rao ho latela boleng ba mohlala oa litšoantšo.
Bakeng sa ADM, bangoli ba GLIDE ba sebelisitse setšoantšo se tšoanang sa ImageNet 64 x 64 joaloka Dhariwal le Nichol, empa ka likanale tse 512 ho e-na le 64. Mohlala oa ImageNet o na le li-parameter tse ka bang limilione tse likete tse 2.3 ka lebaka la sena.
Sehlopha sa GLIDE, ho fapana le Dhariwal le Nichol, se ne se batla ho ba le taolo e tobileng e tobileng holim'a ts'ebetso ea ho hlahisa litšoantšo, kahoo ba kopanya mohlala oa pono le transformer e nang le tlhokomelo. GLIDE e u fa taolo e itseng holim'a tlhahiso ea ts'ebetso ea ho hlahisa setšoantšo ka ho sebetsana le melaetsa ea mongolo.
Sena se finyelloa ka ho koetlisa mofuta oa transformer ka har'a pokello ea lintlha tse kholo tsa linepe le litlhaloso (tse ts'oanang le tse sebelisitsoeng morerong oa DALL-E).
Taba e ngotsoeng qalong e kentsoe letotong la li-tokens tsa K e le ho e beha maemong. Ka mor'a moo, li-tokens li kenngoa ka mokhoa oa transformer. Sephetho sa transformer se ka sebelisoa ka litsela tse peli. Bakeng sa mohlala oa ADM, ho sebelisoa token ea ho qetela ho e-na le ho kenyelletsa sehlopha.
Taba ea bobeli, lera la ho qetela la li-tokens - letoto la li-vectors - le hlahisoa ka boikemelo ho litekanyo tsa karolo e 'ngoe le e 'ngoe ea tlhokomelo ea mohlala oa ADM 'me li hokahane le moelelo o mong le o mong oa tlhokomelo.
Ha e le hantle, sena se nolofalletsa mohlala oa ADM ho hlahisa setšoantšo ho tsoa mefuteng e mecha ea li-tokens tse tšoanang tsa mongolo ka mokhoa o ikhethang le oa photorealistic, ho itšetlehile ka kutloisiso ea eona e ithutoang ea mantsoe a kenang le litšoantšo tsa bona tse amanang. Transformer ena e kenyang mongolo e na le liparamente tse limilione tse likete tse 1.2 mme e sebelisa li-block tse 24 tse setseng ka bophara ba 2048.
Qetellong, mofuta oa phallo ea upsampler o kenyelletsa liparamente tse ka bang limilione tse likete tse 1.5 mme o fapana ho latela mohlala oa mantlha hobane mongolo oa eona o nyane, ka bophara ba likanale tse 1024 le 384, ha o bapisoa le mofuta oa motheo. Moetso ona, joalo ka ha lebitso le bontša, o thusa ho ntlafatsa sampole molemong oa ho ntlafatsa tlhaloso ea mechini le batho.
Mokhoa oa ho hasana
GLIDE e etsa litšoantšo e sebelisa mofuta oa eona oa ADM (ADM-G bakeng sa "tataisi"). Mohlala oa ADM-G ke phetoho ea mofuta oa diffusion U-net. Mofuta oa U-net o fapaneng o fapana haholo le mekhoa e atileng ea ho kopanya litšoantšo joalo ka VAE, GAN le li-transformer.
Ba theha ketane ea Markov ea mehato ea ho hasanya ho kenya butle-butle lerata le sa reroang ho data, ebe ba ithuta ho khutlisa ts'ebetso ea phallo le ho aha disampole tse hlokahalang tsa data ho tsoa lerata feela. E sebetsa ka mekhahlelo e 'meli: ho ea pele le ho khutlela morao.
Mokhoa oa phallo ea pele, o fuoeng ntlha ea data ho tsoa kabong ea 'nete ea sampole, o eketsa lerata le lenyenyane lisampoleng ka mehato e seng e setiloe. Ha mehato e ntse e eketseha ka boholo le ho atamela ho sa feleng, sampuli e lahleheloa ke litšobotsi tsohle tse hlokomelehang 'me tatellano e qala ho tšoana le sekhahla sa Gaussian sa isotropic.
Nakong ea ho ferekana ka morao phase, mohlala oa phano e ithuta ho fetola tšusumetso ea lerata le ekelitsoeng litšoantšong le ho lebisa setšoantšo se hlahisitsoeng ho khutlela sebopeho sa sona sa pele ka ho leka ho tšoana le kabo ea sampuli ea ho kenya letsoho ea pele.
Mohlala o phethiloeng o ka etsa joalo ka molumo oa 'nete oa lerata la Gaussian le ka potlako. Mokhoa oa ADM-G o fapana le o fetileng ka hore mohlala, ebang ke CLIP kapa transformer e ikhethileng, e ama karolo ea morao-rao ea phallo ka ho sebelisa li-tokens tsa mongolo tse kentsoeng.
Bokhoni ba ho glide
1. Moloko oa Setšoantšo
Tšebeliso e tsebahalang haholo le e sebelisoang haholo ea GLIDE mohlomong e tla ba sebopeho sa litšoantšo. Le hoja litšoantšo li le bonolo 'me GLIDE e na le bothata ka mefuta ea liphoofolo / batho, monyetla oa ho hlahisa setšoantšo se le seng o batla o sa feleng.
E ka etsa linepe tsa liphoofolo, batho ba tummeng, libaka tsa naha, meaho le tse ling tse ngata, 'me e ka e etsa ka mekhoa e fapaneng ea bonono hammoho le litšoantšo tsa 'nete. Bangoli ba bafuputsi ba tiisa hore GLIDE e khona ho fetolela le ho fetola mefuta e mengata e fapaneng ea litlhaku tsa mongolo hore e be sebopeho sa pono, joalo ka ha se bonoa lisampoleng tse ka tlase.
2. Glide inpainting
Ho penta ka mokhoa o ikhethileng oa GLIDE ke ts'ebeliso e khahlang ka ho fetesisa. GLIDE e ka nka senepe se seng se ntse se le teng joalo ka kenyeletso, ea se sebetsa ka potlako ea mongolo bakeng sa libaka tse hlokang ho fetoloa, ebe se etsa liphetoho tse sebetsang likarolong tseo habonolo.
E tlameha ho sebelisoa mmoho le mofuta oa ho hlophisa, joalo ka SDEdit, ho hlahisa litholoana tse ntle le ho feta. Nakong e tlang, lits'ebetso tse nkang monyetla ka bokhoni bo kang bona li ka ba bohlokoa ho ntlafatseng mekhoa ea mahala ea ho fetola linepe.
fihlela qeto e
Kaha joale re fetile ts'ebetsong, u lokela ho utloisisa lintlha tsa motheo tsa hore na GLIDE e sebetsa joang, hammoho le bophara ba bokhoni ba eona ho theheng litšoantšo le ho fetola litšoantšo.
Leave a Reply