Google, geniş kaynaklarından yararlanarak ve önemli sayıda üst düzey yetenekli mühendis istihdam ederek, yapay zeka araştırmasının ön saflarında yer almaya devam etti. Ancak dil modelleri açısından Google'ın çabaları geç kaldı.
Teknoloji devi Microsoft, OpenAI ile verimli bir ortaklıktan zaten yararlanırken, Google'ın yetişmekten başka seçeneği yoktu.
Bu yılki Google I/O konferansında şirket, üretici yapay zeka silahlanma yarışına yanıtını duyurdu: PaLM 2. Bu yeni model, OpenAI'nin GPT-4'ünün yanında performans ölçecek mi?
PaLM2 nedir?
Google açıklıyor Palm 2 ilk olarak 2022'de duyurulan mevcut PaLM modelini geliştiren son teknoloji bir dil modeli olarak. Diğer dil modellerine benzer şekilde PaLM 2, PaLM gibi çeşitli metin oluşturma görevlerini gerçekleştirebilir, çok çeşitli görevleri yerine getirebilir , soruları cevaplamak, metni çevirmek, kod oluşturmaVe çok daha fazlası.
Testler, PaLM 2'nin çok daha az sayıda parametre kullanırken PaLM modelinden daha iyi performans göstererek halihazırda önemli gelişmeler gösterdiğini göstermiştir.
PaLM 2, bir Model Ailesidir
Diğer dil modelleri gibi, PaLM 2 projesi de aslında boyutları değişen bir model ailesidir. Google, PaLM 2 modelini dört boyutta sağlayacaktır: Gecko, Otter, Bison ve Unicorn.
Boyutlardaki çeşitlilik, PaLM 2'nin çeşitli kullanım durumlarında konuşlandırılmasını kolaylaştırır. Örneğin Gecko modeli, tüm modelin bir mobil cihaza sığabileceği ve hatta çevrimdışı çalışabileceği kadar hafiftir.
PaLM 2'nin Eğitim Veri Kümesi
Başarılı bir dil modelinin en önemli yönlerinden biri, eğitim veri kümesi. Eğitim veri seti, modelin tasarlandığı konuyu derinlemesine anlamasına izin verecek kadar çeşitli olmalıdır.
Büyük dil modelleri (LLM'ler) için, genellikle modelin üzerinde eğitim alması gereken belirli bir konu yoktur. LLM'ler bunun yerine, çok sayıda görevi yerine getirmeye uygun olması gereken genel amaçlı modeller olacak şekilde oluşturulmuştur. Bu modeller, yayınlanmış referans materyali, literatür ve hatta kaynak kodunun yanı sıra web'in büyük bir bölümünü yakalayan büyük metinsel veri kümelerini kullanır.
PaLM 2'nin eğitim veri seti ile diğer modeller arasındaki temel fark, daha yüksek oranda İngilizce olmayan verilerin dahil edilmesidir. Onlarınkine göre teknik rapor, veri kümesini İngilizce olmayan metinleri içerecek şekilde genişletmek, modeli daha geniş bir dil ve kültür çeşitliliğine maruz bırakır.
PaLM 2 modeli ayrıca, modelin bir dilden diğerine çevirme yeteneği kazanmasına yardımcı olmak için paralel çok dilli veriler üzerinde eğitildi. Veriler, bir girişin İngilizce olduğu ve diğerinin başka bir dildeki eşdeğer bir metin olduğu metin çiftlerini içerir.
Yukarıdaki tablo, PaLM 2'yi eğitmek için kullanılan çok dilli web belgelerinin dil dağılımını göstermektedir.
PaLM 2 Temel Özellikler
PaLM 2'nin diğer dil modellerine kıyasla üstün olduğu ana alanlardan bazıları şunlardır.
muhakeme
PaLM 2'nin veri seti, matematiksel ifadeler içeren bilimsel makaleler ve web içeriği gibi kaynakları içerir. Bu, modele matematikte, sağduyulu muhakemede ve mantıkta gelişmiş yetenekler verir.
Araştırmacılar, modelin matematiksel muhakeme yeteneklerini ilkokul ve lise matematik sorularında test etti ve burada GPT-4'ün matematik yetenekleriyle karşılaştırılabilir sonuçlar gösterdi.
kodlama
PaLM 2'nin eğitim verileri, ona çeşitli programlama dillerinde kod üretme yeteneği de sağlar. PALM 2 ekibi, kod ağırlıklı çok dilli bir veri kümesi üzerinde eğitilmiş, PaLM 2-S* adlı, kodlamaya özgü bir PaLM 2 modeli oluşturdu.
Model yalnızca kod üretme yeteneğine sahip olmakla kalmaz, aynı zamanda birden çok dili içeren görevleri de gerçekleştirebilir. Örneğin, PaLM 2'den İspanyolca satır satır yorumlar ekleyen bir Python sıralama işlevi oluşturmasını isteyebilirsiniz.
çok dillilik
Model, 100'den fazla dil içeren bir veri kümesi üzerinde eğitildiğinden, PaLM 2 birden çok dilde metni anlama, oluşturma ve çevirme konusunda yeterlilik gösterir.
Araştırmacılar, çok dilliliği test etmek için modeli farklı dillerde çeşitli dil yeterlilik testlerinde test ettiler. Sonuçlar, PaLM 2'nin yalnızca PaLM'den daha iyi performans gösterdiğini değil, aynı zamanda değerlendirilen her dil için geçer not aldığını gösteriyor.
PaLM 2 aynı zamanda farklı dillerdeki deyimleri anlama, şakaları açıklama, yazım hatalarını düzeltme ve hatta resmi metni günlük sohbete dönüştürmeyi öğrenme becerisiyle çok dilli yeteneklerini gösterir.
PaLM 2, Google Ürünlerini Güçlendiriyor
Google, modeli diğer ürünlerle entegre ederek zaten PaLM 2'nin ilerlemelerinden yararlanıyor.
ozan
Modelin çok dilli görevleri yerine getirme yeteneği artık Google'ın Bard deneyi 180'den fazla ülke ve bölgeye yayıldığı için.
Bard, kod oluşturma ve kod hata ayıklama gibi programlama ve yazılım geliştirme görevlerine yardımcı olmak için artık PaLM 2'nin kodlama yeteneklerini de kullanıyor.
Google Workspace için Duet AI
Google ayrıca, Google Workspace uygulama grubuna üretici yapay zeka özellikleri eklemeyi planlıyor. Gmail ve Dokümanlar yakında şu özelliği içerecektir: Düet AI bu, kullanıcının yanıtlarını hazırlamasına ve bilgi istemlerini kullanarak yazmasına yardımcı olacaktır.
Duet AI, kullanıcıların Google E-Tablolar'da, kullanıcı tarafından verilen istemlere dayalı olarak görevler ve projeler için özel planlar oluşturmasına da olanak tanır.
Sonuç
Google, PaLM 2 dil modeliyle AI dil araçları pazarındaki boşluğu kesinlikle kapatmayı umuyor. Modelin API'si henüz herkese açık olmasa da, araştırmalarının sonuçları, modelin GPT-4'ün performansıyla eşleşecek kadar rekabetçi olduğunu gösteriyor.
Google'ın mevcut kullanıcı tabanıyla, AI'ları arama motorları veya üretkenlik araçları paketleri gibi hizmetlerine entegre edilirse, kesinlikle büyük bir adaptasyon avantajına sahip olurlar.
Yorum bırak