Nyob rau hauv xyoo tas los no, cov qauv kev kawm tob tau dhau los ua qhov zoo ntawm kev nkag siab tib neeg cov lus.
Xav txog tej yaam num zoo li GPT-3, uas tam sim no muaj peev xwm tsim tau tag nrho cov ntawv thiab cov vev xaib. GitHub tau tshaj tawm tsis ntev los no GitHub Copilot, ib qho kev pabcuam uas muab tag nrho cov lej snippets los ntawm tsuas yog piav qhia txog hom code koj xav tau.
Cov kws tshawb fawb ntawm OpenAI, Facebook, thiab Google tau ua haujlwm rau txoj hauv kev siv kev kawm tob los ua lwm txoj haujlwm: sau cov duab. Siv cov ntaub ntawv loj nrog ntau lab tus nkag, lawv tau tuaj nrog qee qhov ceeb tau.
Tsis ntev los no, cov kws tshawb fawb no tau sim ua cov haujlwm sib txawv: tsim cov duab los ntawm cov ntawv sau. Tam sim no nws puas tuaj yeem tsim cov duab tshiab tawm ntawm qhov kev piav qhia?
Cov lus qhia no yuav tshawb txog ob ntawm cov qauv ntawv-rau-duab tshaj plaws: OpenAI's DALL-E 2 thiab Google's Imagen AI. Txhua yam ntawm cov haujlwm no tau qhia txog cov txheej txheem uas yuav hloov tau tib neeg raws li peb paub.
Tab sis ua ntej, cia peb nkag siab tias peb txhais li cas los ntawm cov ntawv nyeem-rau-duab tiam.
Text-to-image generation yog dab tsi?
Cov qauv ntawv-rau-cov duab tso cai rau cov khoos phis tawj los tsim cov duab tshiab thiab tshwj xeeb raws li cov lus qhia. Cov neeg tam sim no tuaj yeem muab cov ntawv piav qhia ntawm cov duab uas lawv xav tsim, thiab tus qauv yuav sim ua kom pom qhov muag uas phim cov lus piav qhia kom ze li sai tau.
Cov qauv kev kawm tshuab tau siv zog siv cov ntaub ntawv loj uas muaj cov duab kos npe ua khub txhawm rau txhim kho kev ua tau zoo.
Feem ntau cov ntawv-rau-duab cov qauv siv hom lus transformer txhais cov lus qhia. Hom qauv no yog a neural network uas sim kawm cov ntsiab lus thiab semantic lub ntsiab lus ntawm tej yam lus.
Tom ntej no, generative qauv xws li qauv diffusion thiab generative adversarial networks yog siv rau cov duab synthesis.
DALLE 2 yog dab tsi?
DALL-E2 yog lub khoos phis tawj qauv los ntawm OpenAI uas tau tshaj tawm thaum Lub Plaub Hlis 2022. Tus qauv tau kawm ntawm cov ntaub ntawv ntawm ntau lab daim ntawv sau npe los koom nrog cov lus thiab kab lus rau cov duab.
Cov neeg siv tuaj yeem ntaus cov kab lus yooj yim, xws li "tus miv noj lasagna", thiab DALL-E 2 yuav tsim nws tus kheej txhais cov kab lus uas tau sim piav qhia.
Dhau li tsim cov duab kos, DALL-E 2 tuaj yeem hloov kho cov duab uas twb muaj lawm. Hauv qhov piv txwv hauv qab no, DALL-E tuaj yeem tsim cov duab hloov kho ntawm chav tsev nrog lub rooj zaum ntxiv.
DALL-E 2 tsuas yog ib qho ntawm ntau qhov haujlwm zoo sib xws OpenAI tau tso tawm ob peb xyoos dhau los. OpenAI's GPT-3 tau dhau los ua xov xwm thaum nws zoo li tsim cov ntawv nyeem sib txawv.
Tam sim no, DALL-E 2 tseem nyob hauv kev sim beta. Cov neeg siv txaus siab tuaj yeem sau npe rau lawv daim ntawv tos npe thiab tos kom nkag mus.
Nws Ua Haujlwm Li Cas?
Thaum cov txiaj ntsig ntawm DALL-E 2 yog qhov zoo siab, koj yuav xav tsis thoob tias nws ua haujlwm li cas.
DALL-E 2 yog ib qho piv txwv ntawm kev siv ntau yam ntawm OpenAI's GPT-3 project.
Ua ntej, tus neeg siv cov ntawv ceeb toom tau muab tso rau hauv cov ntawv encoder uas qhia cov lus ceeb toom mus rau qhov chaw sawv cev. DALL-E 2 siv lwm tus qauv OpenAI hu ua CLIP (Contrastive Language-Image Pre-Training) kom tau txais cov ntaub ntawv semantic los ntawm cov lus ntuj.
Tom ntej no, tus qauv hu ua tus ua ntej maps cov ntawv encoding rau hauv daim duab encoding. Cov duab encoding no yuav tsum ntes cov ntaub ntawv semantic pom nyob rau hauv cov kauj ruam encoding.
Txhawm rau tsim cov duab tiag tiag, DALL-E 2 siv cov duab decoder los tsim qhov pom kev siv cov ntaub ntawv semantic thiab cov duab encoding cov ntsiab lus. OpenAI siv qhov hloov kho version ntawm tus KHWV qauv los ua cov duab tiam. GLIDE tso siab rau ib qauv diffusion tsim cov duab.
Qhov sib ntxiv ntawm GLIDE rau DALL-E 2 tus qauv ua kom pom cov duab tiag tiag. Txij li tus qauv GLIDE yog stochastic lossis txiav txim siab tsis tu ncua, tus qauv DALL-E 2 tuaj yeem yooj yim tsim cov kev hloov pauv los ntawm kev khiav tus qauv dua thiab dua.
Cov kev txwv
Txawm hais tias muaj txiaj ntsig zoo ntawm DALL-E 2 qauv, nws tseem ntsib qee qhov kev txwv.
Spelling Text
Cov lus ceeb toom uas sim ua DALL-E 2 tsim cov ntawv qhia tias nws nyuaj rau kev sau cov lus. Cov kws tshaj lij xav tias qhov no tej zaum yuav yog vim cov ntaub ntawv sau tsis yog ib feem ntawm kev cob qhia dataset.
Kev Tsim Nyog Muaj Cai
Cov kws tshawb nrhiav pom tias DALL-E 2 tseem muaj qee qhov nyuaj nrog kev sib xyaw ua ke. Yooj yim muab tso, tus qauv tuaj yeem nkag siab txog tus kheej ntawm cov duab thaum tseem muaj teeb meem nrhiav kev sib raug zoo ntawm cov khoom no.
Piv txwv li, yog tias muab qhov "liab lub voos xwmfab rau saum lub voos xwmfab", DALL-E yuav tsim lub voos xwmfab xiav thiab lub voos xwmfab liab kom raug tab sis tsis muab tso rau lawv kom raug. Tus qauv kuj tau pom tias muaj teeb meem nrog cov lus ceeb toom uas yuav tsum tau muaj qee yam khoom siv los kos tawm.
Kev tsis ncaj ncees hauv cov ntaub ntawv
Yog tias qhov kev ceeb toom tsis muaj lwm cov ntsiab lus, DALL-E tau raug soj ntsuam los piav qhia cov neeg dawb lossis Western thiab ib puag ncig. Qhov kev sawv cev tsis zoo no tshwm sim vim muaj ntau ntawm Western-centric duab hauv cov ntaub ntawv.
Tus qauv kuj tau raug soj ntsuam ua raws li poj niam txiv neej stereotypes. Piv txwv li, ntaus ntawv hauv qhov "tus neeg saib xyuas dav hlau" feem ntau tsim cov duab ntawm cov poj niam caij dav hlau.
Google Imagen AI yog dab tsi?
Google lub Imagen AI yog tus qauv tsim los tsim cov duab tiag tiag los ntawm cov ntawv sau. Zoo ib yam li DALL-E, tus qauv kuj siv cov qauv lus hloov pauv kom nkag siab cov ntawv nyeem thiab tso siab rau kev siv cov qauv diffusion los tsim cov duab zoo.
Nrog rau Imagen, Google kuj tau tshaj tawm cov qauv ntsuas rau cov qauv ntawv-rau-cov duab hu ua DrawBench. Siv DrawBench, lawv muaj peev xwm saib tau tias tib neeg cov neeg ntaus nqi nyiam Imagen tso zis ntau dua lwm cov qauv suav nrog DALL-E 2.
Nws Ua Haujlwm Li Cas?
Zoo ib yam li DALL-E, Imagen thawj zaug hloov cov neeg siv tam sim ntawd rau hauv cov ntawv sau los ntawm cov ntawv kaw lus khov.
Imagen siv tus qauv diffusion uas kawm yuav ua li cas hloov cov qauv suab nrov rau hauv cov duab. Thawj qhov tso zis ntawm cov duab no yog qhov kev daws teeb meem tsawg thiab tom qab ntawd dhau los ntawm lwm tus qauv hu ua super-resolution diffusion qauv kom nce qhov kev daws teeb meem ntawm daim duab kawg. Thawj tus qauv diffusion tso tawm 64 × 64 pixel duab thiab tom qab ntawd tau tshuab mus rau cov duab siab 1024 × 1024.
Raws li pab pawg Imagen txoj kev tshawb fawb, cov qauv lus khov loj uas tau kawm tsuas yog cov ntaub ntawv hauv cov ntawv nyeem tseem muaj txiaj ntsig zoo rau cov ntawv nyeem rau cov ntawv nyeem.
Txoj kev tshawb no tseem qhia txog lub tswv yim ntawm dynamic thresholding. Txoj kev no ua rau cov duab pom ntau dua photorealistic los ntawm kev nce kev taw qhia hnyav thaum tsim cov duab.
Kev ua tau zoo ntawm DALLE 2 vs Imagen
Cov txiaj ntsig ua ntej los ntawm Google tus qauv qhia tau hais tias tib neeg cov neeg teb nyiam cov duab tsim los ntawm Imagen tshaj DALL-E 2 thiab lwm cov qauv ntawv-rau-cov duab xws li Latent Diffusion thiab VQGAN+CLIP.
Cov txiaj ntsig los ntawm pab pawg Imagen kuj tau qhia tias lawv cov qauv ua tau zoo dua ntawm kev sau ntawv, paub qhov tsis muaj zog ntawm DALL-E 2 qauv.
Txawm li cas los xij, txij li Google tseem tsis tau tshaj tawm cov qauv rau pej xeem, nws tseem yuav pom tias Google cov qauv ntsuas tau raug li cas.
xaus
Qhov nce ntawm photorealistic text-rau-duab qauv yog qhov tsis sib haum xeeb vim tias cov qauv no yog siav rau kev siv tsis ncaj ncees.
Cov thev naus laus zis tuaj yeem ua rau tsim cov ntsiab lus tsis meej lossis ua ib qho cuab yeej rau kev tshaj tawm xov xwm. Cov kws tshawb fawb los ntawm ob qho tib si Google thiab OpenAI tau paub txog qhov no, uas yog ib feem vim li cas cov thev naus laus zis no tseem tsis tuaj yeem nkag mus rau txhua tus.
Cov qauv ntawv-rau-cov duab kuj muaj qhov cuam tshuam rau kev lag luam. Puas yuav muaj kev tshaj lij xws li cov qauv, kws yees duab, thiab cov kws ua yeeb yam cuam tshuam yog tias cov qauv xws li DALL-E dhau los ua qhov tseem ceeb?
Tam sim no, cov qauv no tseem muaj kev txwv. Tuav ib qho AI-tsim duab rau kev tshuaj xyuas yuav qhia nws qhov tsis zoo. Nrog rau ob qho tib si OpenAI thiab Google sib tw rau cov qauv ua tau zoo tshaj plaws, nws yuav yog ib qho teeb meem ntawm lub sijhawm ua ntej cov txiaj ntsig zoo tshaj plaws yog tsim: ib qho duab uas tsis txawv ntawm qhov tseeb.
Koj xav li cas yuav tshwm sim thaum thev naus laus zis mus deb?
Sau ntawv cia Ncua