Qatt xtaqt li tista' titkellem ma' AI li tifhem kemm id-dejta mitkellma kif ukoll dik viżiva? Il-paradigma MultiModal-GPT tgħaqqad l-ipproċessar tal-lingwa mal-fehim viżwali.
Joffri l-possibbiltà ta' interazzjoni preċiża u diversifikata bejn il-bniedem u l-kompjuter. MultiModal-GPT jista' jipprovdi captions deskrittiva, jgħodd oġġetti individwali, u jwieġeb għall-mistoqsijiet ġenerali tal-utent.
Imma, kif tagħmel dan? U, x'tista 'tagħmel b'MultiModal-GPT?
Ejja nieħdu l-istorja sal-bidu u nifhmu l-possibbiltajiet li għandna quddiemna.
Bil-ħolqien ta 'mudelli tal-lingwa bħal GPT-4, it-teknoloġiji tal-ipproċessar tal-lingwa naturali qed jaraw rivoluzzjoni. Innovazzjonijiet bħal ChatGPT diġà ġew inkorporati fil-ħajja tagħna.
U, donnhom jibqgħu ġejjin!
GPT-4 u l-Limitazzjonijiet tiegħu
GPT-4 wera profiċjenza aqwa f'konversazzjonijiet multimodali man-nies. Studji għamlu sforz biex jidduplikaw din il-prestazzjoni, iżda minħabba n-numru potenzjalment għoli ta 'tokens tal-istampa, inklużi mudelli b'informazzjoni viżiva preċiża jistgħu jkunu għaljin bil-komputazzjoni.
Mudelli eżistenti wkoll ma jinkludux l-irfinar tal-istruzzjoni tal-lingwa fl-istudju tagħhom, li jirrestrinġi l-abbiltà tagħhom li jipparteċipaw f'konversazzjonijiet ta' immaġni-test multiturn zero-shot.
Bini Fuq Qafas Flamingo
Ġie żviluppat mudell ġdid imsejjaħ MultiModal-GPT biex jippermetti komunikazzjoni man-nies li jużaw kemm indikazzjonijiet lingwistiċi kif ukoll viżwali.
L-iżviluppaturi impjegaw programm imsejjaħ il- qafas Flamingo, li qabel kienet imħarrġa biex tifhem kemm it-test kif ukoll il-viżivi, biex tagħmel dan fattibbli.
Flamingo kellu bżonn xi bidliet, madankollu, peress li ma setax ikollu djalogi estiżi li kienu jinkludu test u viżwali.
Il-mudell MultiModal-GPT aġġornat jista 'jiġbor data minn stampi u ħallatha mal-lingwa biex jifhem u jwettaq kmandi umani.
MultiModal-GPT
MultiModal-GPT huwa tip ta 'mudell AI li jista' jsegwi diversi inkjesti umani bħal tiddeskrivi viżwali, għadd ta 'oġġetti, u jwieġeb mistoqsijiet. Jifhem u jsegwi ordnijiet billi juża taħlita ta 'dejta viżiva u verbali.
Ir-riċerkaturi ħarrġu l-mudell bl-użu ta’ data kemm viżwali kif ukoll ta’ lingwa biss biex iżidu l-kapaċità ta’ MultiModal-GPT biex titkellem man-nies. Barra minn hekk, ikkawża titjib notevoli fil-mod kif kien imwettaq id-diskors tiegħu. Irriżulta wkoll f'titjib notevoli fil-prestazzjoni tal-konversazzjoni tiegħu.
Huma skoprew li li jkollok dejta ta 'taħriġ ta' kwalità għolja huwa kritiku għal prestazzjoni tajba ta 'konversazzjoni, għaliex sett ta' dejta żgħir b'reazzjonijiet qosra jista 'jippermetti lill-mudell joħloq risponsi iqsar għal kwalunkwe kmand.
X'tista 'tagħmel bil-MultiModal-GPT?
Involviment f'Konversazzjonijiet
Bħall-mudelli tal-lingwa li ġew qabel, waħda mill-karatteristiċi primarji tal-MultiModal-GPT hija l-kapaċità tagħha li tidħol f'diskussjonijiet tal-lingwa naturali. Dan jimplika li l-konsumaturi jistgħu jimpenjaw ruħhom mal-mudell bħalma jagħmlu ma' persuna reali.
Pereżempju, MultiModal-GPT jista 'jagħti lill-klijenti riċetta dettaljata biex jagħmlu noodles jew jirrakkomanda ristoranti possibbli għall-ikel barra. Il-mudell huwa kapaċi wkoll iwieġeb għal mistoqsijiet ġeneriċi dwar l-intenzjonijiet tal-vjaġġ tal-utenti.
Rikonoxximent ta' Oġġetti
MultiModal-GPT jista 'jirrikonoxxi l-affarijiet fir-ritratti u jirrispondi għal mistoqsijiet dwarhom. Pereżempju, il-mudell jista 'jirrikonoxxi lil Freddie Mercury f'immaġni u jwieġeb għal mistoqsijiet dwaru.
Jista 'wkoll jgħodd in-numru ta' individwi u jispjega x'qed jagħmlu fi stampa. Din il-kapaċità ta 'identifikazzjoni tal-oġġett għandha applikazzjonijiet f'varjetà ta' oqsma, inklużi l-kummerċ elettroniku, il-kura tas-saħħa u s-sigurtà.
MultiModal-GPT jista 'wkoll jirrikonoxxi test ġewwa stampi diġitali. Dan jimplika li l-mudell jista 'jaqra t-test fir-ritratti u jiġbed data utli. Jista', pereżempju, jiskopri l-karattri f'immaġni u jidentifika l-awtur ta' ktieb.
Hija għodda estremament utli għal ġestjoni tad-dokumenti, input tad-data, u analiżi tal-kontenut.
Raġunar u Ġenerazzjoni ta' Għarfien
Multi-modal-GPT jista' jirraġuna u jipproduċi għarfien dwar id-dinja. Dan ifisser li jista' jipprovdi spjegazzjonijiet sħaħ tar-ritratti u saħansitra jgħidilhom f'liema staġun ittieħdet l-immaġni.
Din il-ħila hija utli f'varjetà ta' dixxiplini, inkluż il-monitoraġġ ambjentali, l-agrikoltura u l-meteoroloġija. Il-mudell jista' wkoll jiġġenera ħwejjeġ kreattivi bħal poeżija, rakkonti, u kanzunetti, u jagħmilha għodda eċċellenti għal kompiti kreattivi.
Ħidma ta 'ġewwa ta' MultiModal-GPT
Mudell għal Istruzzjonijiet Unifikati
It-tim jippreżenta mudell wieħed għall-integrazzjoni ta' data lingwistika unimodali u data multimodali dwar il-viżjoni u l-lingwa biex iħarreġ sew il-mudell MultiModal-GPT b'mod sinerġistiku.
Din l-istrateġija magħquda tipprova ttejjeb il-prestazzjoni tal-mudell f'varjetà ta' kompiti billi tisfrutta l-kapaċitajiet komplementari taż-żewġ modalitajiet tad-dejta u tinkoraġġixxi komprensjoni aktar profonda tal-ideat sottostanti.
Is-settijiet tad-dejta Dolly 15k u Alpaca GPT4 jintużaw mit-tim biex ikejlu l-abbiltajiet li jsegwu l-istruzzjoni tal-lingwa biss. Dawn is-settijiet tad-dejta jaġixxu bħala mudell fil-pront għall-istrutturar tal-input tas-sett tad-dejta biex jiggarantixxu format konsistenti li jsegwi l-istruzzjoni.
Immaġni: Ħarsa ġenerali lejn is-sett tad-dejta Doly 15k
Kif Jaħdem il-Mudell?
Tliet komponenti ewlenin jiffurmaw il-mudell MultiModal-GPT: decoder tal-lingwa, perceiver resampler, u encoder tal-viżjoni. L-immaġni tittieħed mill-encoder tal-viżjoni, li mbagħad jiġġenera ġabra ta 'karatteristiċi li jikkaratterizzawha.
Id-decoder tal-lingwa juża l-informazzjoni mill-kodifikatur tal-viżjoni biex joħloq test li jiddeskrivi l-immaġni bl-għajnuna tal-perceiver resampler.
Il-komponent tal-mudell li jifhem il-lingwa u jipproduċi t-test huwa d-decoder tal-lingwa. Biex tbassar il-kelma li ġejja fi frażi, il-mudell huwa mħarreġ bl-użu kemm tad-dejta tal-lingwa biss kif ukoll tal-viżjoni flimkien ma 'l-istruzzjoni tal-lingwa li ġejja.
Dan jgħallem lill-mudell kif jirreaġixxi għall-kmandi mill-bnedmin u jipprovdi t-test aċċettabbli għad-deskrizzjonijiet tal-istampi.
Tim Wara
Il-MultiModal-GPT inħoloq minn tim ta 'riċerkaturi u inġiniera ta' Microsoft Research Asia mmexxija minn Tao Gong, Chengqi Lyu, u Shilong Zhang. Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, u Kai Chen kollha kkontribwew għall-istudju u l-iżvilupp tal-mudell.
Ipproċessar tal-lingwa naturali, viżjoni tal-kompjuter, u t-tagħlim tal-magni huma kollha oqsma ta 'kompetenza għat-tim. Huma għandhom diversi artikli ppubblikati f'konferenzi u pubblikazzjonijiet tal-ogħla livell, kif ukoll diversi unuri u rikonoxximenti għall-isforzi xjentifiċi tagħhom.
Ir-riċerka tat-tim tiffoka fuq l-iżvilupp ta 'mudelli u approċċi avvanzati biex jippermettu interazzjonijiet aktar naturali u intelliġenti bejn il-bnedmin u t-teknoloġija.
L-iżvilupp multi-modal-GPT huwa kisba notevoli fil-qasam peress li huwa wieħed mill-ewwel mudelli li jgħaqqad il-viżjoni u l-lingwa f'qafas wieħed għal diskussjoni multi-round.
Il-kontribuzzjonijiet tat-tim għar-riċerka u l-iżvilupp MultiModal-GPT għandhom il-potenzjal li jkollhom influwenza sostanzjali fuq il-futur tal-ipproċessar tal-lingwa naturali u l-interazzjonijiet bejn il-bniedem u l-magna.
Kif tuża MultiModal-GPT
Għal dawk li jibdew, l-użu tal-għodda MultiModal-GPT huwa sempliċi. Sempliċement mur https://mmgpt.openmmlab.org.cn/ u agħfas il-buttuna "Upload Image".
Agħżel il-fajl tal-istampa biex ittella, u mbagħad ittajpja t-test fil-pront fil-qasam tat-test. Biex toħloq tweġiba mill-mudell, ikklikkja l-buttuna "Ibgħat", li tidher taħt il-qasam tat-test.
Tista' tesperimenta b'ritratti u struzzjonijiet differenti biex titgħallem aktar dwar il-kapaċitajiet tal-mudell.
installazzjoni
Biex tinstalla l-pakkett MultiModal-GPT, uża l-kmand tat-terminal "git clone https://github.com/open-mmlab/Multimodal-GPT.git" biex tikklona r-repożitorju minn GitHub. Tista 'sempliċement issegwi dawn il-passi:
git clone https://github.com/open-mmlab/Multimodal-GPT.git
cd Multimodal-GPT
pip install -r requirements.txt
pip install -v -e .
Alternattivament, uża conda env create -f environment.yml
biex jistabbilixxi ambjent conda ġdid. Tista 'tmexxi d-demo lokalment wara li tinstallaha billi tniżżel il-piżijiet imħarrġa minn qabel u taħżenhom fil-folder tal-punti ta' kontroll.
Id-demo Gradio mbagħad tista 'tiġi mnedija billi tħaddem il-kmand "python app.py".
Żvantaġġi Potenzjali
Il-mudell MultiModal-GPT għad għandu difetti u spazju għall-iżvilupp minkejja l-prestazzjoni eċċellenti tiegħu.
Pereżempju, meta jittratta inputs viżwali kkumplikati jew ambigwi, il-mudell jista' mhux dejjem ikun kapaċi jagħraf u jifhem il-kuntest tal-input. Dan jista' jirriżulta fi tbassir jew reazzjonijiet mhux preċiżi mill-mudell.
Barra minn hekk, partikolarment meta l-input ikun ikkumplikat jew miftuħ, il-mudell jista 'mhux dejjem jipproduċi l-aħjar reazzjoni jew riżultat. It-tweġiba tal-mudell, pereżempju, setgħet ġiet affettwata minn kemm kienu simili l-qoxra taż-żewġ kotba dehru fil-każ tal-identifikazzjoni żbaljata ta 'qoxra ta' ktieb.
konklużjoni
B'mod ġenerali, il-mudell MultiModal-GPT jirrappreżenta pass kbir 'il quddiem fl-ipproċessar tal-lingwa naturali u t-tagħlim tal-magni. U, huwa eċċitanti ħafna li tużaha u tesperimenta magħha. Allura, għandek tipprova jew!
Madankollu, għandha limiti, kif jagħmlu l-mudelli kollha, u teħtieġ raffinar u titjib addizzjonali biex tikseb prestazzjoni massima f'varjetà ta 'applikazzjonijiet u oqsma.
Ħalli Irrispondi