Google secara konsisten tetap berada di garis depan penelitian AI, memanfaatkan sumber dayanya yang besar dan mempekerjakan sejumlah besar insinyur berbakat. Namun, dalam hal model bahasa, upaya Google terlambat.
Dengan raksasa teknologi Microsoft yang telah mendapat manfaat dari kemitraan yang bermanfaat dengan OpenAI, Google tidak punya pilihan selain mengejar ketinggalan.
Pada konferensi Google I/O tahun ini, perusahaan mengumumkan jawabannya untuk perlombaan senjata AI generatif: PaLM 2. Apakah model baru ini akan mengukur kinerjanya bersama GPT-4 OpenAI?
Apa itu Palm 2?
Google menjelaskan Palem 2 sebagai model bahasa canggih yang menyempurnakan model PaLM mereka yang sudah ada dan pertama kali diumumkan pada tahun 2022. Mirip dengan model bahasa lainnya, PaLM 2 mampu melakukan berbagai tugas pembuatan teks seperti PaLM mampu melakukan berbagai tugas , termasuk menjawab pertanyaan, menerjemahkan teks, menghasilkan kode, Dan banyak lagi.
Pengujian telah menunjukkan bahwa PaLM 2 telah menunjukkan peningkatan yang signifikan, mengungguli model PaLM saat menggunakan jumlah parameter yang jauh lebih sedikit.
PaLM 2 adalah Keluarga Model
Seperti model bahasa lainnya, proyek PaLM 2 sebenarnya adalah keluarga model dengan berbagai ukuran. Google akan menyediakan model PaLM 2 dalam empat ukuran: Gecko, Otter, Bison, dan Unicorn.
Variasi ukuran memudahkan penerapan PaLM 2 dalam berbagai kasus penggunaan. Misalnya, model Gecko cukup ringan sehingga seluruh model dapat ditampung di perangkat seluler dan bahkan dijalankan secara offline.
Dataset Pelatihan PaLM 2
Salah satu aspek terpenting dari model bahasa yang sukses adalah set data pelatihan. Dataset pelatihan harus cukup beragam untuk memungkinkan model memiliki pemahaman yang mendalam tentang materi pelajaran yang dirancang untuknya.
Untuk model bahasa besar (LLM), biasanya tidak ada topik khusus yang harus dilatih oleh model. LLM malah dibangun untuk menjadi model tujuan umum yang harus sesuai untuk melakukan banyak tugas. Model ini menggunakan kumpulan data tekstual besar yang menangkap sebagian besar web serta materi referensi yang dipublikasikan, literatur, dan bahkan kode sumber.
Perbedaan utama antara dataset pelatihan PaLM 2 dan model lainnya adalah dimasukkannya persentase data non-Inggris yang lebih tinggi. Menurut mereka laporan teknikal, memperluas kumpulan data untuk menyertakan teks non-Inggris memaparkan model ke variasi bahasa dan budaya yang lebih luas.
Model PaLM 2 juga dilatih pada data multibahasa paralel untuk membantu model memperoleh kemampuan menerjemahkan dari satu bahasa ke bahasa lain. Data tersebut mencakup pasangan teks di mana satu entri dalam bahasa Inggris dan yang lainnya merupakan teks yang setara dalam bahasa lain.
Tabel di atas menunjukkan distribusi bahasa dari dokumen web multibahasa yang digunakan untuk melatih PaLM 2.
Fitur Utama PaLM 2
Berikut adalah beberapa area utama yang menjadi keunggulan PaLM 2 dibandingkan dengan model bahasa lainnya.
Pemikiran
Kumpulan data PaLM 2 mencakup sumber seperti makalah ilmiah dan konten web dengan ekspresi matematika. Ini memberi model peningkatan kemampuan dalam matematika, penalaran akal sehat, dan logika.
Para peneliti menguji kemampuan penalaran matematis model tersebut pada pertanyaan matematika sekolah dasar dan sekolah menengah atas yang menunjukkan hasil yang sebanding dengan kemampuan matematika GPT-4.
Pengkodean
Data pelatihan PaLM 2 juga memberinya kemampuan untuk menghasilkan kode dalam berbagai bahasa pemrograman. Tim PALM 2 membuat model PaLM 2 khusus pengkodean yang disebut PaLM 2-S* yang dilatih pada kumpulan data multibahasa yang padat kode.
Model ini tidak hanya mampu menghasilkan kode, tetapi juga mampu menangani tugas yang melibatkan banyak bahasa. Misalnya, Anda dapat meminta PaLM 2 untuk membuat fungsi penyortiran Python yang menambahkan komentar baris demi baris dalam bahasa Spanyol.
Multibahasa
Karena model dilatih pada kumpulan data yang mencakup lebih dari 100 bahasa, PaLM 2 menunjukkan kemahiran dalam memahami, menghasilkan, dan menerjemahkan teks dalam berbagai bahasa.
Untuk menguji multibahasa, para peneliti menguji model pada berbagai tes kecakapan berbahasa dalam berbagai bahasa. Hasilnya menunjukkan bahwa PaLM 2 tidak hanya mengungguli PaLM tetapi juga mencapai nilai kelulusan untuk setiap bahasa yang dievaluasi.
PaLM 2 juga menunjukkan kemampuan multibahasanya dengan kemampuannya memahami idiom dalam berbagai bahasa, menjelaskan lelucon, memperbaiki kesalahan ketik, dan bahkan dapat mempelajari cara mengubah teks formal menjadi percakapan sehari-hari.
PaLM 2 Memberdayakan Produk Google
Google telah memanfaatkan kemajuan PaLM 2 dengan mengintegrasikan model tersebut dengan produk lain.
Penyair
Kemampuan model untuk menangani tugas multibahasa kini mendukung Google Eksperimen Bard karena diperluas ke lebih dari 180 negara dan wilayah.
Bard sekarang juga menggunakan kemampuan pengkodean PaLM 2 untuk membantu tugas pemrograman dan pengembangan perangkat lunak seperti pembuatan kode dan debugging kode.
Duet AI untuk Google Workspace
Google juga berencana menambahkan fitur AI generatif ke grup aplikasi Google Workspace-nya. Gmail dan Documents akan segera menyertakan fitur bernama Duet AI yang akan membantu pengguna membuat draf balasan dan menulis menggunakan prompt.
Duet AI juga akan memungkinkan pengguna membuat rencana khusus di Google Sheets untuk tugas dan proyek berdasarkan petunjuk yang diberikan oleh pengguna.
Kesimpulan
Google pasti berharap untuk menutup celah di pasar alat bahasa AI dengan model bahasa PaLM 2 mereka. Meskipun API model tersebut belum tersedia untuk umum, hasil penelitian mereka menunjukkan bahwa model tersebut cukup kompetitif untuk menyamai kinerja GPT-4.
Dengan basis pengguna Google yang ada, mereka pasti memiliki keuntungan dari adaptasi besar-besaran jika AI mereka terintegrasi ke dalam layanan mereka seperti mesin pencari atau rangkaian alat produktivitas mereka.
Tinggalkan Balasan