Koj puas tau xav tias koj tuaj yeem sib tham nrog AI uas nkag siab ob qho tib si hais lus thiab pom cov ntaub ntawv? MultiModal-GPT paradigm ua ke ua cov lus nrog kev nkag siab pom.
Nws muaj qhov ua tau zoo thiab muaj ntau haiv neeg sib cuam tshuam hauv computer. MultiModal-GPT tuaj yeem muab cov lus piav qhia, suav cov khoom ntawm tus kheej, thiab teb rau cov lus nug ntawm cov neeg siv.
Tab sis, nws ua li cas? Thiab, koj tuaj yeem ua dab tsi nrog MultiModal-GPT?
Cia peb coj zaj dab neeg mus rau qhov pib thiab nkag siab txog qhov muaj peev xwm ua ntej ntawm peb.
Nrog rau qhov tshwm sim ntawm cov qauv lus zoo li GPT-4, cov txheej txheem kev ua cov lus ntuj tau pom muaj kev hloov pauv. Kev tsim kho tshiab xws li ChatGPT twb tau muab tso rau hauv peb lub neej.
Thiab, zoo li lawv txuas ntxiv tuaj!
GPT-4 thiab Nws Cov Kev Txwv
GPT-4 tau qhia txog kev paub zoo hauv kev sib tham nrog tib neeg. Cov kev tshawb fawb tau ua rau muaj kev sib tw ua qhov kev ua tau zoo no, tab sis vim tias muaj peev xwm ntau ntawm cov duab tokens, nrog rau cov qauv nrog cov ntaub ntawv pom tseeb tuaj yeem suav nrog kim.
Cov qauv uas twb muaj lawm kuj tsis suav nrog kev qhia lus hauv lawv txoj kev kawm, uas txwv tsis pub lawv lub peev xwm los koom nrog xoom-shot multiturn duab-ntawv sib tham.
Tsim raws li Flamingo Framework
Tus qauv tshiab hu ua MultiModal-GPT tau tsim los pab kom muaj kev sib txuas lus nrog tib neeg siv ob qho tib si lus thiab pom cues.
Cov neeg tsim khoom tau ua haujlwm rau qhov program hu ua Flamingo lub moj khaum, uas yav tas los tau kawm kom nkag siab txog cov ntawv nyeem thiab pom, kom ua tau qhov no.
Flamingo xav tau qee qhov kev hloov pauv, txawm li cas los xij, vim nws tsis tuaj yeem muaj kev sib tham txuas ntxiv uas suav nrog cov ntawv nyeem thiab pom.
MultiModal-GPT qauv tshiab tuaj yeem sau cov ntaub ntawv los ntawm cov duab thiab sib xyaw nrog cov lus kom nkag siab thiab ua raws li tib neeg cov lus txib.
MultiModal-GPT
MultiModal-GPT yog hom AI qauv uas tuaj yeem ua raws li tib neeg cov lus nug xws li piav qhia qhov pom, suav cov khoom, thiab teb cov lus nug. Nws nkag siab thiab ua raws li cov lus txib uas siv cov ntaub ntawv pom thiab hais lus sib xyaw.
Cov kws tshawb fawb tau cob qhia tus qauv siv cov ntaub ntawv pom thiab cov lus nkaus xwb kom nce MultiModal-GPT lub peev xwm los tham nrog tib neeg. Tsis tas li ntawd, nws ua rau muaj kev txhim kho pom zoo ntawm txoj kev hais lus tau ua. Nws kuj tau ua kom pom kev txhim kho hauv nws txoj kev sib tham.
Lawv tau tshawb pom tias muaj cov ntaub ntawv kev cob qhia zoo yog qhov tseem ceeb rau kev sib tham zoo, vim tias cov ntaub ntawv me me nrog cov lus teb luv luv tuaj yeem ua rau tus qauv tsim cov lus teb luv dua rau ib qho lus txib.
Koj Yuav Ua Li Cas Nrog MultiModal-GPT?
Koom nrog kev sib tham
Ib yam li cov qauv lus uas tau los ua ntej, ib qho ntawm MultiModal-GPT tus yam ntxwv tseem ceeb yog nws lub peev xwm los koom nrog cov lus sib tham. Qhov no txhais tau tias cov neeg siv khoom tuaj yeem koom nrog cov qauv ib yam li lawv xav nrog tus neeg tiag tiag.
Piv txwv li, MultiModal-GPT tuaj yeem muab cov lus qhia ntxaws ntxaws rau cov neeg siv khoom ua cov noodles lossis pom zoo rau cov khw noj mov rau noj mov. Tus qauv tseem muaj peev xwm teb cov lus nug dav dav txog cov neeg siv kev xav mus ncig.
Kev lees paub ntawm Cov Khoom
MultiModal-GPT tuaj yeem paub cov khoom hauv cov duab thiab teb cov lus nug txog lawv. Piv txwv li, tus qauv tuaj yeem paub txog Freddie Mercury hauv ib daim duab thiab teb cov lus nug txog nws.
Nws tseem tuaj yeem suav tus naj npawb ntawm cov tib neeg thiab piav qhia lawv ua dab tsi hauv daim duab. Lub peev xwm txheeb xyuas cov khoom no muaj cov ntawv thov hauv ntau qhov chaw, suav nrog e-lag luam, kev kho mob, thiab kev ruaj ntseg.
MultiModal-GPT tuaj yeem paub cov ntawv hauv cov duab digital. Qhov no txhais tau tias tus qauv tuaj yeem nyeem cov ntawv hauv cov duab thiab rho tawm cov ntaub ntawv tseem ceeb. Nws yuav, piv txwv li, ntes cov cim hauv ib daim duab thiab txheeb xyuas tus sau phau ntawv.
Nws yog ib qho cuab yeej tseem ceeb heev rau cov ntaub ntawv tswj kav, cov ntaub ntawv input, thiab cov ntsiab lus tsom xam.
Kev Tsim Nyog thiab Tsim Kev Paub
Multi-modal-GPT tuaj yeem xav thiab tsim kev paub txog lub ntiaj teb. Qhov no txhais tau tias nws tuaj yeem muab cov lus piav qhia tag nrho ntawm cov duab thiab txawm qhia lawv tias lub caij twg cov duab raug coj mus rau hauv.
Cov txuj ci no muaj txiaj ntsig zoo hauv ntau yam kev qhuab qhia, suav nrog kev saib xyuas ib puag ncig, kev ua liaj ua teb, thiab huab cua. Tus qauv tseem tuaj yeem tsim cov khoom muaj tswv yim xws li paj huam, zaj dab neeg, thiab zaj nkauj, ua rau nws yog ib qho cuab yeej zoo rau kev ua haujlwm zoo.
Kev ua haujlwm sab hauv ntawm MultiModal-GPT
Template rau Unified Instructions
Pab neeg no nthuav tawm ib qho qauv rau kev sib koom ua ke ntawm cov ntaub ntawv hais lus tsis sib xws thiab cov ntaub ntawv qhia txog kev pom-thiab-hais lus los cob qhia MultiModal-GPT qauv hauv kev sib koom ua ke.
Qhov kev sib koom ua ke no sim txhim kho tus qauv kev ua tau zoo thoob plaws ntau txoj haujlwm los ntawm kev siv lub peev xwm ntxiv ntawm ob qho tib si cov ntaub ntawv hloov pauv thiab txhawb kom nkag siab tob dua ntawm cov tswv yim hauv qab.
Cov ntaub ntawv Dolly 15k thiab Alpaca GPT4 yog siv los ntawm pab pawg los ntsuas cov lus qhia nkaus xwb-ua raws li lub peev xwm. Cov datasets no ua raws li tus qauv tam sim rau kev teeb tsa cov ntaub ntawv tawm tswv yim los lav qhov kev qhia ua raws li hom ntawv.
Duab: Txheej txheem cej luam ntawm Doly 15k dataset
Tus Qauv Ua Haujlwm Li Cas?
Peb lub hauv paus tseem ceeb ua rau tus qauv MultiModal-GPT: tus lej txiav txim siab lus, tus neeg pom qhov rov ua dua, thiab lub zeem muag encoder. Cov duab yog coj los ntawm lub zeem muag encoder, uas tom qab ntawd tsim cov kev sau ntawm cov yam ntxwv uas qhia nws.
Cov lus decoder siv cov ntaub ntawv los ntawm lub zeem muag encoder los tsim cov ntawv nyeem uas piav qhia cov duab nrog kev pab ntawm tus neeg pom cov resampler.
Lub ntsiab lus ntawm cov qauv uas nkag siab cov lus thiab tsim cov ntawv nyeem yog cov lus decoder. Txhawm rau kwv yees cov lus hauv qab no hauv ib kab lus, tus qauv raug cob qhia siv ob hom lus nkaus xwb thiab pom-ntxiv cov lus qhia-ua raws cov ntaub ntawv.
Qhov no qhia tus qauv yuav ua li cas los teb cov lus txib los ntawm tib neeg thiab muab cov ntawv lees paub rau daim duab piav qhia.
Pab neeg tom qab
MultiModal-GPT yog tsim los ntawm ib pab neeg ntawm Microsoft Research Asia cov kws tshawb fawb thiab cov kws tsim qauv coj los ntawm Tao Gong, Chengqi Lyu, thiab Shilong Zhang. Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, thiab Kai Chen txhua tus pab txhawb rau tus qauv kev kawm thiab kev loj hlob.
Natural lus processing, lub computer tsis pom kev, thiab kev kawm tshuab yog txhua yam kev txawj ntse rau pab pawg. Lawv muaj ob peb tsab xov xwm luam tawm hauv cov rooj sib tham saum toj kawg nkaus thiab cov ntawv tshaj tawm, nrog rau ntau yam kev qhuas thiab qhuas rau lawv cov kev siv zog tshawb fawb.
Kev tshawb fawb ntawm pab pawg tsom mus rau kev txhim kho cov qauv txiav thiab cov txheej txheem los ua kom muaj kev sib raug zoo ntawm tib neeg thiab kev txawj ntse ntau dua.
Multi-modal-GPT txoj kev loj hlob yog ib qho tseem ceeb ua tiav hauv kev ua haujlwm vim nws yog ib qho ntawm cov qauv thawj coj los ua ke kev pom thiab lus hauv ib lub hauv paus rau kev sib tham ntau yam.
Pab pawg neeg koom tes rau MultiModal-GPT kev tshawb fawb thiab kev tsim kho muaj peev xwm ua kom muaj kev cuam tshuam loj rau yav tom ntej ntawm kev ua cov lus ntuj thiab kev sib cuam tshuam ntawm tib neeg-tshuab.
Yuav Siv MultiModal-GPT li cas
Rau cov pib tshiab, siv MultiModal-GPT cov cuab yeej yooj yim. Tsuas yog mus rau https://mmgpt.openmmlab.org.cn/ thiab nias lub pob "Upload Image".
Xaiv cov duab cov ntaub ntawv upload, thiab tom qab ntawd ntaus cov ntawv qhia rau hauv cov ntawv nyeem. Txhawm rau tsim cov lus teb los ntawm tus qauv, nyem lub pob "Submit", uas yuav tshwm sim hauv qab cov ntawv teb.
Koj tuaj yeem sim nrog cov duab sib txawv thiab cov lus qhia kom paub ntau ntxiv txog tus qauv lub peev xwm.
txhim
Txhawm rau nruab MultiModal-GPT pob, siv lub davhlau ya nyob twg hais kom ua "git clone https://github.com/open-mmlab/Multimodal-GPT.git" los clone lub repository los ntawm GitHub. Koj tsuas tuaj yeem ua raws li cov kauj ruam no:
git clone https://github.com/open-mmlab/Multimodal-GPT.git
cd Multimodal-GPT
pip install -r requirements.txt
pip install -v -e .
Xwb, siv conda env create -f environment.yml
tsim kom muaj ib puag ncig conda tshiab. Koj tuaj yeem khiav lub demo hauv zos tom qab txhim kho nws los ntawm rub tawm qhov hnyav uas tau kawm ua ntej thiab khaws cia rau hauv cov ntawv txheeb xyuas.
Lub Gradio demo tej zaum yuav raug tso tawm los ntawm kev khiav cov lus txib "python app.py".
Tej zaum Drawbacks
Tus qauv MultiModal-GPT tseem muaj qhov tsis zoo thiab chav rau kev txhim kho txawm tias nws ua tau zoo heev.
Piv txwv li, thaum cuam tshuam nrog cov teeb meem nyuaj lossis tsis pom kev pom, tus qauv yuav tsis tuaj yeem paub thiab nkag siab txog cov ntsiab lus ntawm cov tswv yim. Qhov no yuav ua rau muaj kev kwv yees tsis raug lossis kev cuam tshuam los ntawm tus qauv.
Tsis tas li ntawd, tshwj xeeb tshaj yog thaum cov tswv yim nyuaj los yog qhib-kawg, tus qauv yuav tsis tas yuav tsim cov tshuaj tiv thaiv zoo tshaj plaws los yog tshwm sim. Piv txwv li, tus qauv cov lus teb, tej zaum yuav muaj kev cuam tshuam los ntawm qhov zoo sib xws ntawm ob phau ntawv npog zoo li qhov kev txheeb xyuas tsis raug ntawm phau ntawv npog.
xaus
Zuag qhia tag nrho, tus qauv MultiModal-GPT sawv cev rau ib kauj ruam loj rau tom ntej hauv kev ua cov lus ntuj thiab kev kawm tshuab. Thiab, nws yog qhov zoo siab heev los siv nws thiab sim nrog nws. Yog li, koj yuav tsum muab nws sim ib yam!
Txawm li cas los xij, nws muaj kev txwv, ib yam li txhua tus qauv, thiab xav tau kev kho kom zoo ntxiv thiab txhim kho kom tau txais kev ua tau zoo tshaj plaws hauv ntau yam kev siv thiab cov thawj.
Sau ntawv cia Ncua