Kua hiahia koe kia korero koe ki tetahi AI e mohio ana ki nga korero korero me nga raraunga ataata? Ko te tauira MultiModal-GPT e whakakotahi ana i te tukatuka reo me te maarama ataata.
Ka taea e ia te tika me te rereke o te taunekeneke tangata-rorohiko. MultiModal-GPT Ka taea te whakarato tapanga whakaahuatanga, te tatau i nga mea takitahi, me te whakautu ki nga paatai a nga kaiwhakamahi.
Engari, me pehea e mahi ai? A, ka aha koe me MultiModal-GPT?
Me kawe te korero ki te timatanga me te mohio ki nga huarahi kei mua i a tatou.
I te putanga mai o nga tauira reo penei i te GPT-4, kei te kite nga hangarau tukatuka reo maori i te hurihanga. Ko nga mahi hou penei i a ChatGPT kua whakauruhia ki roto i o maatau oranga.
Na, kei te haere tonu mai ratou!
GPT-4 me ona herenga
Kua whakaatu a GPT-4 i te matataunga mīharo ki te whakawhitiwhiti whakaaro maha me te tangata. Kua whakapau kaha nga rangahau ki te taarua i tenei mahinga, engari na te nui o te maha o nga tohu pikitia, tae atu ki nga tauira me nga korero ataata tika ka nui pea te utu.
Karekau hoki nga tauira o naianei e whakauru ana i te ako reo i roto i ta raatau ako, e aukati ana i to raatau kaha ki te uru atu ki nga korerorero whakaahua-kupu-kore-kore.
Hanga ki runga i te Anga Flamingo
I hangaia he tauira hou e kiia nei ko MultiModal-GPT kia taea ai te whakawhitiwhiti korero me nga tangata e whakamahi ana i nga tohu reo me nga tohu ataata.
I mahi nga kaihanga i tetahi kaupapa e kiia nei ko te Anga Flamingo, i whakangungua i mua ki te mohio ki nga tuhinga me nga whakaahua, kia taea ai tenei.
I hiahia a Flamingo ki etahi whakarereketanga, na te mea kaore i taea e ia nga korero roa me nga tuhinga me nga tirohanga.
Ko te tauira MultiModal-GPT kua whakahouhia ka taea te kohi raraunga mai i nga pikitia me te whakakotahi ki te reo kia mohio ai, kia mahia nga whakahau a te tangata.
MultiModal-GPT
Ko te MultiModal-GPT he momo tauira AI ka taea te whai i nga tini patapatai a te tangata penei i te whakaahua ataata, te tatau taonga, me te whakautu patai. E mohio ana, e whai ana i nga ota ma te whakakotahitanga o nga raraunga ataata me nga korero.
I whakangunguhia e nga kairangahau te tauira ma te whakamahi i nga raraunga ataata me te reo-anake hei whakanui ake i te kaha o MultiModal-GPT ki te korero ki nga tangata. I tua atu, kua tino pai ake te ahua o tana korero. I puta ano he pai ake i roto i ana mahi korero.
I kitea e ratou he mea nui te whai raraunga whakangungu-kounga teitei mo te pai o te korerorero, na te mea ko te huinga raraunga iti me nga whakautu poto ka taea e te tauira te hanga whakautu poto ki tetahi whakahau.
He aha e taea e koe ki te MultiModal-GPT?
Te whai waahi ki nga korerorero
Ka rite ki nga tauira reo i puta mai i mua, ko tetahi o nga ahuatanga tuatahi o MultiModal-GPT ko tona kaha ki te uru atu ki nga korerorero reo maori. Ko te tikanga tenei ka uru pea nga kaihoko ki te tauira penei me te tangata pono.
Hei tauira, ka taea e MultiModal-GPT te hoatu ki nga kaihoko he tohutaka mo te hanga kihu, ka taunaki ranei i nga wharekai ka taea te kai ki waho. Ka taea hoki e te tauira te whakautu ki nga paatai whanui mo nga hiahia haerenga a nga kaiwhakamahi.
Te Whakaaetanga o nga Mea
Ka taea e MultiModal-GPT te mohio ki nga mea kei roto i nga whakaahua me te whakautu ki nga patai mo ratou. Hei tauira, ka taea e te tauira te mohio ki a Freddie Mercury i roto i te ahua me te whakautu ki nga patai mo ia.
Ka taea hoki te tatau te maha o nga tangata takitahi me te whakamarama he aha ta ratou mahi i roto i te pikitia. Ko tenei kaha tohu ahanoa he tono i roto i nga momo mara, tae atu ki te e-tauhokohoko, te hauora, me te haumarutanga.
Ka taea hoki e MultiModal-GPT te mohio ki nga kupu o roto i nga pikitia matihiko. Ko te tikanga ka taea e te tauira te panui i nga tuhinga ki nga whakaahua me te tango i nga raraunga whai hua. Hei tauira, ka kitea pea nga tohu o te ahua me te tautuhi i te kaituhi o te pukapuka.
He taputapu tino whai hua mo te whakahaere tuhinga, whakauru raraunga, me te tātaritanga ihirangi.
Te Whakaaro me te Whakatupu Matauranga
Ka taea e Multi-modal-GPT te whakaaro me te whakaputa matauranga mo te ao. Ko te tikanga ka taea e ia te whakarato i nga whakamaramatanga katoa o nga whakaahua me te korero ki a raatau he aha te waa i tangohia ai te ahua.
Ka whai hua tenei pukenga i roto i nga momo marautanga, tae atu ki te tirotiro i te taiao, te ahuwhenua, me te meteorology. Ka taea hoki e te tauira te whakaputa mea auaha penei i nga whiti, nga korero, me nga waiata, he taputapu pai mo nga mahi auaha.
Nga Mahi o roto o MultiModal-GPT
Tauira mo nga Tohutohu Whakakotahi
Ka whakaatuhia e te roopu he tauira kotahi mo te whakaurunga o nga raraunga reo unimodal me nga raraunga tirohanga-a-reo maha hei whakangungu tika i te tauira MultiModal-GPT i roto i te mahi whakakotahi.
Ko tenei rautaki whakakotahi e ngana ana ki te whakapai ake i te mahinga o te tauira puta noa i nga momo mahi ma te whakamahi i nga kaha taapiri o nga tikanga raraunga e rua me te akiaki kia hohonu ake te maarama ki nga whakaaro o raro.
Ko nga huingararaunga a Dolly 15k me Alpaca GPT4 e whakamahia ana e te roopu ki te ine i nga pukenga whai-whakaako-anake. Ko enei huingararaunga ka mahi hei tauira tere mo te hanga i te whakaurunga huingararaunga hei whakapumau i te whakatakotoranga whai-a-tohu.
Atahanga: Tirohanga o Doly 15k huingararaunga
He pehea te mahi a te tauira?
E toru nga waahanga matua e hanga ana i te tauira MultiModal-GPT: he wewetewete reo, he rehampler perceiver, me te encoder matakite. Ka mauhia te ahua e te encoder whakakitenga, katahi ka hangaia he kohinga o nga ahuatanga e tohu ana.
Ka whakamahia e te kaiwhakawaehere reo nga korero mai i te kaitahuri matakite ki te hanga tuhinga e whakaatu ana i te ahua me te awhina a te kaiwhakamahara.
Ko te waahanga o te tauira e mohio ana ki te reo me te whakaputa i te tuhinga ko te wetewaehere reo. Ki te matapae i te kupu e whai ake nei i roto i te rerenga korero, ka whakangunguhia te tauira ma te whakamahi i nga korero e rua mo te reo-anake me te matakite-me te reo ako-whai raraunga.
Ka whakaakona te tauira me pehea te aro ki nga whakahau a te tangata me te whakarato i nga tuhinga e whakaaetia ana mo nga whakaahuatanga pikitia.
Kapa kei muri
Ko te MultiModal-GPT i hangaia e te roopu o nga kairangahau a Microsoft Research Asia me nga miihini i arahina e Tao Gong, Chengqi Lyu, me Shilong Zhang. Ko Yudong Wang, ko Miao Zheng, ko Qian Zhao, ko Kuikun Liu, ko Wenwei Zhang, ko Ping Luo, ko Kai Chen i whai waahi katoa ki te ako me te whanaketanga o te tauira.
Tukatuka reo maori, tirohanga rorohiko, me te ako miihini ko nga waahanga katoa o te mohio mo te roopu. He maha a raatau tuhinga i whakaputaina i roto i nga huihuinga me nga panui o runga, tae atu ki nga momo honore me nga mihi mo o raatau mahi putaiao.
Ko te rangahau a te roopu e aro ana ki te whakawhanaketanga o nga tauira me nga huarahi hou kia kaha ake ai nga taunekeneke taiao me te mohio i waenga i te tangata me te hangarau.
Ko te whanaketanga Multi-modal-GPT he tino whakatutukitanga i roto i te mara na te mea koinei tetahi o nga tauira tuatahi ki te whakakotahi i te tirohanga me te reo i roto i te anga kotahi mo te korerorero maha-a tawhio noa.
Ko nga takoha a te kapa ki te rangahau me te whanaketanga MultiModal-GPT ka whai mana nui ki te heke mai o te tukatuka reo maori me nga taunekeneke tangata-miihini.
Me pehea te Whakamahi MultiModal-GPT
Mo te hunga timata, he ngawari te whakamahi i te taputapu MultiModal-GPT. Haere noa ki https://mmgpt.openmmlab.org.cn/ ka pehi i te paatene "Tukuake Atahanga".
Kōwhiria te kōnae pikitia hei tuku ake, ka patopato i te tohutoro kuputuhi ki te mara kuputuhi. Hei waihanga whakautu mai i te tauira, paatohia te paatene "Tukuna", ka puta mai i raro i te mara kuputuhi.
Ka taea e koe te whakamatautau ki nga whakaahua rereke me nga tohutohu hei ako atu mo nga kaha o te tauira.
tāuta
Hei whakauru i te kete MultiModal-GPT, whakamahia te whakahau tauranga "git clone https://github.com/open-mmlab/Multimodal-GPT.git" ki te kati i te putunga mai i GitHub. Ka taea e koe te whai noa i enei kaupae:
git clone https://github.com/open-mmlab/Multimodal-GPT.git
cd Multimodal-GPT
pip install -r requirements.txt
pip install -v -e .
I tua atu, whakamahia conda env create -f environment.yml
ki te whakatu i tetahi taiao conda hou. Ka taea e koe te whakahaere i te demo i te rohe i muri i te whakaurunga ma te tango i nga taumaha kua oti te whakangungu me te penapena ki te kōpaki tirotiro.
Ka whakarewahia pea te demo Gradio ma te whakahaere i te whakahau "python app.py".
Nga Whakamuri Pumanawa
Ko te tauira MultiModal-GPT he koha me te waahi mo te whakawhanaketanga ahakoa te pai o ana mahi.
Hei tauira, i te wa e pa ana ki nga whakaurunga ataata uaua, rangirua ranei, kare pea te tauira e mohio me te mohio ki te horopaki o te whakaurunga. Ka puta pea he matapae, he tauhohenga ranei mai i te tauira.
I tua atu, ina koa he uaua, he tuwhera ranei te whakaurunga, kare pea te tauira e whakaputa i te tauhohenga pai, i nga hua ranei. Ko te whakautu a te tauira, hei tauira, i pa ki te ahua o te ahua o nga uhi o nga pukapuka e rua mo te he o te tautuhi i te uhi pukapuka.
Opaniraa
I roto i te katoa, ko te tauira MultiModal-GPT e tohu ana i te ahunga whakamua nui i roto i te tukatuka reo maori me te ako miihini. Na, he tino whakaihiihi ki te whakamahi me te whakamatau. Na, me whakamatau koe!
Heoi ano, he rohe, pera me nga tauira katoa, me te whakamahine me te whakarei ake kia pai ai te mahi i roto i nga momo tono me nga waahi.
Waiho i te Reply