Pernahkah anda berharap anda boleh bercakap dengan AI yang memahami kedua-dua data lisan dan visual? Paradigma MultiModal-GPT menggabungkan pemprosesan bahasa dengan pemahaman visual.
Ia menawarkan kemungkinan interaksi manusia-komputer yang tepat dan pelbagai. MultiModal-GPT boleh memberikan kapsyen deskriptif, mengira item individu dan menjawab soalan umum pengguna.
Tetapi, bagaimana ia melakukannya? Dan, apakah yang boleh anda lakukan dengan MultiModal-GPT?
Mari kita bawa cerita ke permulaan dan fahami kemungkinan di hadapan kita.
Dengan kemunculan model bahasa seperti GPT-4, teknologi pemprosesan bahasa semula jadi menyaksikan revolusi. Inovasi seperti ChatGPT telah pun diserapkan ke dalam kehidupan kita.
Dan, mereka nampaknya terus datang!
GPT-4 dan Hadnya
GPT-4 telah menunjukkan kecekapan yang luar biasa dalam perbualan pelbagai mod dengan orang. Kajian telah berusaha untuk menduplikasi prestasi ini, tetapi disebabkan bilangan token gambar yang berpotensi tinggi, termasuk model dengan maklumat visual yang tepat boleh menjadi mahal dari segi pengiraan.
Model sedia ada juga tidak menyertakan penalaan arahan bahasa dalam kajian mereka, yang menyekat keupayaan mereka untuk mengambil bahagian dalam perbualan teks imej berbilang pusingan sifar.
Membina Atas Rangka Kerja Flamingo
Model baharu yang dipanggil MultiModal-GPT telah dibangunkan untuk membolehkan komunikasi dengan orang ramai menggunakan isyarat linguistik dan visual.
Pemaju menggunakan program yang dipanggil Rangka kerja Flamingo, yang sebelum ini dilatih untuk memahami kedua-dua teks dan visual, untuk menjadikannya boleh dilaksanakan.
Flamingo memerlukan beberapa perubahan, walaupun, kerana ia tidak dapat mempunyai dialog lanjutan yang termasuk teks dan visual.
Model MultiModal-GPT yang dikemas kini boleh mengumpulkan data daripada gambar dan mencampurkannya dengan bahasa untuk memahami dan melaksanakan perintah manusia.
MultiModal-GPT
MultiModal-GPT ialah sejenis model AI yang boleh mengikuti pelbagai pertanyaan manusia seperti menerangkan visual, mengira item dan menjawab soalan. Ia memahami dan mengikut perintah menggunakan gabungan data visual dan lisan.
Penyelidik melatih model menggunakan data visual dan bahasa sahaja untuk meningkatkan kapasiti MultiModal-GPT untuk bercakap dengan orang ramai. Selain itu, ia menyebabkan peningkatan yang ketara dalam cara wacananya dilakukan. Ia juga menghasilkan peningkatan yang ketara dalam prestasi perbualannya.
Mereka mendapati bahawa mempunyai data latihan berkualiti tinggi adalah penting untuk prestasi perbualan yang baik, kerana set data kecil dengan respons pendek mungkin membolehkan model mencipta respons yang lebih pendek kepada sebarang arahan.
Apa yang Boleh Anda Lakukan Dengan MultiModal-GPT?
Melibatkan diri dalam Perbualan
Seperti model bahasa yang datang sebelum ini, salah satu ciri utama MultiModal-GPT ialah keupayaannya untuk terlibat dalam perbincangan bahasa semula jadi. Ini menunjukkan bahawa pengguna mungkin terlibat dengan model seperti yang mereka lakukan dengan orang sebenar.
Contohnya, MultiModal-GPT boleh memberi pelanggan resipi terperinci untuk membuat mi atau mengesyorkan restoran yang mungkin untuk menjamu selera. Model ini juga mampu menjawab soalan generik tentang niat perjalanan pengguna.
Pengecaman Objek
MultiModal-GPT boleh mengecam perkara dalam foto dan menjawab pertanyaan tentangnya. Sebagai contoh, model itu boleh mengenali Freddie Mercury dalam imej dan menjawab pertanyaan tentangnya.
Ia juga boleh mengira bilangan individu dan menerangkan apa yang mereka lakukan dalam gambar. Kapasiti pengenalan objek ini mempunyai aplikasi dalam pelbagai bidang, termasuk e-dagang, penjagaan kesihatan dan keselamatan.
MultiModal-GPT juga boleh mengecam teks dalam gambar digital. Ini menunjukkan model boleh membaca teks dalam foto dan mengekstrak data berguna. Ia mungkin, sebagai contoh, mengesan watak dalam imej dan mengenal pasti pengarang buku.
Ia adalah alat yang sangat berguna untuk pengurusan dokumen, input data dan analisis kandungan.
Penaakulan dan Penjanaan Ilmu
Multi-modal-GPT boleh menaakul dan menghasilkan pengetahuan tentang dunia. Ini bermakna ia boleh memberikan penjelasan penuh tentang gambar dan juga memberitahu mereka musim mana imej itu diambil.
Kemahiran ini berguna dalam pelbagai disiplin, termasuk pemantauan alam sekitar, pertanian, dan meteorologi. Model ini juga boleh menjana bahan kreatif seperti puisi, cerita dan lagu, menjadikannya alat yang sangat baik untuk tugas kreatif.
Kerja Dalaman MultiModal-GPT
Templat untuk Arahan Bersatu
Pasukan ini membentangkan templat tunggal untuk penyepaduan data linguistik unimodal dan data penglihatan dan bahasa multimodal untuk melatih model MultiModal-GPT dengan betul secara sinergistik.
Strategi gabungan ini cuba meningkatkan prestasi model merentas pelbagai tugas dengan mengeksploitasi keupayaan pelengkap kedua-dua modaliti data dan menggalakkan pemahaman yang lebih mendalam tentang idea asas.
Set data Dolly 15k dan Alpaca GPT4 digunakan oleh pasukan untuk mengukur kebolehan mengikut arahan bahasa sahaja. Set data ini bertindak sebagai templat segera untuk menstrukturkan input set data untuk menjamin format mengikut arahan yang konsisten.
Imej: Gambaran keseluruhan set data Doly 15k
Bagaimana Model Berfungsi?
Tiga komponen utama membentuk model MultiModal-GPT: penyahkod bahasa, penyemak semula perceiver dan pengekod penglihatan. Imej diambil oleh pengekod penglihatan, yang kemudiannya menghasilkan koleksi ciri yang mencirikannya.
Penyahkod bahasa menggunakan maklumat daripada pengekod penglihatan untuk mencipta teks yang menerangkan imej dengan bantuan resampler perceiver.
Komponen model yang memahami bahasa dan menghasilkan teks ialah penyahkod bahasa. Untuk meramalkan perkataan berikut dalam frasa, model dilatih menggunakan kedua-dua data mengikut arahan bahasa sahaja dan penglihatan serta bahasa.
Ini mengajar model cara bertindak balas terhadap arahan daripada manusia dan menyediakan teks yang boleh diterima untuk penerangan gambar.
Pasukan Di Belakang
MultiModal-GPT telah dicipta oleh pasukan penyelidik dan jurutera Microsoft Research Asia yang diketuai oleh Tao Gong, Chengqi Lyu dan Shilong Zhang. Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, dan Kai Chen semuanya menyumbang kepada kajian dan pembangunan model.
pemprosesan bahasa semula jadi, penglihatan komputer, dan pembelajaran mesin adalah semua bidang kecekapan untuk pasukan. Mereka mempunyai beberapa artikel yang diterbitkan dalam persidangan dan penerbitan peringkat teratas, serta pelbagai penghormatan dan pujian untuk usaha saintifik mereka.
Penyelidikan pasukan memberi tumpuan kepada pembangunan model dan pendekatan termaju untuk membolehkan interaksi yang lebih semula jadi dan pintar antara manusia dan teknologi.
Pembangunan multi-modal-GPT ialah pencapaian yang patut diberi perhatian dalam bidang ini kerana ia merupakan salah satu model pertama yang menggabungkan penglihatan dan bahasa dalam satu rangka kerja untuk perbincangan pelbagai pusingan.
Sumbangan pasukan kepada penyelidikan dan pembangunan MultiModal-GPT berpotensi mempunyai pengaruh yang besar pada masa depan pemprosesan bahasa semula jadi dan interaksi manusia-mesin.
Cara Menggunakan MultiModal-GPT
Untuk pemula, menggunakan alat MultiModal-GPT adalah mudah. Hanya pergi ke https://mmgpt.openmmlab.org.cn/ dan tekan butang “Muat Naik Imej”.
Pilih fail gambar untuk dimuat naik, dan kemudian taip gesaan teks ke dalam medan teks. Untuk membuat respons daripada model, klik butang "Serah", yang akan muncul di bawah medan teks.
Anda boleh mencuba dengan foto dan arahan yang berbeza untuk mengetahui lebih lanjut tentang keupayaan model.
memasang
Untuk memasang pakej MultiModal-GPT, gunakan perintah terminal "git clone https://github.com/open-mmlab/Multimodal-GPT.git" untuk mengklon repositori daripada GitHub. Anda hanya boleh mengikuti langkah-langkah ini:
git clone https://github.com/open-mmlab/Multimodal-GPT.git
cd Multimodal-GPT
pip install -r requirements.txt
pip install -v -e .
Sebagai alternatif, gunakan conda env create -f environment.yml
untuk mewujudkan persekitaran konda baharu. Anda boleh menjalankan demo secara setempat selepas memasangnya dengan memuat turun pemberat yang telah dilatih dan menyimpannya dalam folder pusat pemeriksaan.
Demo Gradio kemudiannya boleh dilancarkan dengan menjalankan arahan "python app.py".
Potensi Kelemahan
Model MultiModal-GPT masih mempunyai kelemahan dan ruang untuk pembangunan walaupun prestasinya cemerlang.
Sebagai contoh, apabila berurusan dengan input visual yang rumit atau samar-samar, model mungkin tidak selalu dapat mengecam dan memahami konteks input. Ini mungkin mengakibatkan ramalan atau tindak balas yang tidak tepat daripada model.
Selain itu, terutamanya apabila input rumit atau terbuka, model mungkin tidak selalu menghasilkan reaksi atau hasil yang terbaik. Jawapan model, sebagai contoh, mungkin telah dipengaruhi oleh kesamaan kulit kedua-dua buku dalam kes pengenalan kulit buku yang salah.
Kesimpulan
Secara keseluruhannya, model MultiModal-GPT mewakili satu langkah besar ke hadapan dalam pemprosesan bahasa semula jadi dan pembelajaran mesin. Dan, ia sangat menarik untuk menggunakannya dan bereksperimen dengannya. Jadi, anda harus mencubanya sama ada!
Walau bagaimanapun, ia mempunyai had, seperti semua model, dan memerlukan penapisan dan peningkatan tambahan untuk mendapatkan prestasi maksimum dalam pelbagai aplikasi dan domain.
Sila tinggalkan balasan anda