İçindekiler[Saklamak][Göstermek]
Anın büyük sinir ağı olan GPT-3, Mayıs 2020'de yayınlandı. OpenAIElon Musk ve Sam Altman tarafından ortaklaşa kurulan AI girişimi. GPT-3, önceki GPT-175'deki 1,5 milyar parametreye kıyasla 2 milyar parametreye sahip son teknoloji bir dil modelidir.
GPT-3, daha önce 17 milyar parametreyle en büyük sinir ağı rekorunu elinde tutan Microsoft'un NLG Turing modelinden (Turing Natural Language Generation) daha iyi performans gösterdi.
Dil modeli övüldü, eleştirildi ve hatta dikkatle incelendi; aynı zamanda yeni ve ilgi çekici kullanımlar da ortaya çıkardı. Ve şimdi, OpenAI'nin bir sonraki baskısı olan GPT-4'ün dil modeli, gerçekten yakında gelecek.
GPT-4 hakkında daha fazla bilgi edinmek istiyorsanız doğru siteye geldiniz. Bu makalede GPT-4'e derinlemesine bakacağız, parametrelerini, diğer modellerle karşılaştırmasını ve daha fazlasını ele alacağız.
Peki, GPT-4 Nedir?
GPT-4'ün kapsamını anlamak için önce onun öncüsü olan GPT-3'ü anlamalıyız. GPT-3 (Generative Pre-trained Transformer, üçüncü nesil), bağımsız bir içerik oluşturma aracıdır.
Kullanıcılar verileri bir makine öğrenme OpenAI'ye göre, daha sonra yanıt olarak büyük miktarlarda ilgili yazı üretebilen model. GPT-4, birkaç atış koşullarında çoklu görevde önemli ölçüde daha iyi olacaktır - bir tür makine öğrenme – sonuçları insanlarınkine daha da yakın hale getirmek.
GPT-3'ün inşası yüz milyonlarca sterline mal olur, ancak GPT-4'ün beş yüz kat daha büyük ölçekli olacağı için çok daha pahalıya mal olacağı tahmin edilmektedir. Bunu perspektife koymak için,
GPT-4, beyindeki sinapslar kadar çok özelliğe sahip olabilir. GPT-4, temel olarak GPT-3 ile aynı yöntemleri kullanacak, bu nedenle, bir paradigma sıçraması olmak yerine, GPT-4, GPT-3'ün şu anda başardıklarını genişletecek - ancak önemli ölçüde daha büyük çıkarım kabiliyeti ile.
GPT-3, kullanıcıların pratik amaçlar için doğal dile girmelerine izin verdi, ancak yine de iyi sonuçlar verecek bir bilgi istemi tasarlamak için biraz uzmanlık gerekiyordu. GPT-4, kullanıcıların niyetlerini tahmin etmede önemli ölçüde daha iyi olacaktır.
GPT-4 parametreleri ne olacak?
En çok beklenen AI gelişmelerinden biri olmasına rağmen, GPT-4 hakkında hiçbir şey bilinmiyor: neye benzeyeceği, hangi özelliklere sahip olacağı ve hangi güçlere sahip olacağı.
Geçen yıl, Altman bir Soru-Cevap yaptı ve OpenAI'nin GPT-4'e yönelik hedefleri hakkında birkaç ayrıntı açıkladı. Altman'a göre GPT-3'ten daha büyük olmayacaktı. GPT-4'ün en yaygın kullanılan olması pek olası değildir. dil modeli. Model, önceki nesillere kıyasla çok büyük olacak olsa da nöral ağlar, boyutu ayırt edici özelliği olmayacaktır. GPT-3 ve Gopher en makul adaylardır (175B-280B).
Nvidia ve Microsoft'un Megatron-Turing NLG'si rekor kırdı en yoğun sinir ağı 530B'deki parametreler – GPT-3'ün üç katı – yakın zamana kadar Google'ın PaLM'sinin 540B'de aldığı zamana kadar. Şaşırtıcı bir şekilde, daha az sayıda model MT-NLG'den daha iyi performans gösterdi.
Bir güç yasası bağlantısına göre, OpenAI'den Jared Kaplan ve meslektaşları 2020'de, bütçe artışlarının işlenmesinde çoğunlukla parametre sayısını artırmaya harcandığında, performansın en fazla arttığını belirledi. Google, Nvidia, Microsoft, OpenAI, DeepMind ve diğer dil modelleme şirketleri, yönetmeliklere itaatle uydu.
Altman, artık büyük modeller oluşturmaya değil, daha küçük modellerin performansını en üst düzeye çıkarmaya odaklandıklarını belirtti.
OpenAI araştırmacıları, ölçekleme hipotezinin erken savunucularıydı, ancak daha önce keşfedilmemiş ek yolların üstün modellere yol açabileceğini keşfetmiş olabilirler. Bu nedenlerle GPT-4, GPT-3'ten önemli ölçüde büyük olmayacaktır.
OpenAI, önemli faydaları daha hızlı sağlama potansiyeline sahip olan veri, algoritmalar, parametreleştirme ve hizalama gibi diğer yönlere daha fazla odaklanacaktır. 100T parametreli bir modelin neler yapabileceğini bekleyip görmemiz gerekecek.
Kilit noktaları:
- Modelin boyutu: GPT-4, GPT-3'ten daha büyük olacaktır, ancak çok fazla olmayacaktır (MT-NLG 530B ve PaLM 540B). Modelin boyutu dikkat çekmeyecek.
- Optimallik: GPT-4, GPT-3'ten daha fazla kaynak kullanır. Parametrelendirmeye (optimal hiperparametreler) ve ölçeklendirme yöntemlerine (eğitim jetonlarının sayısı model boyutu kadar önemlidir) yeni optimallik anlayışları uygulayacaktır.
- Çok modelli: GPT-4 yalnızca metin mesajları gönderip alabilir (çok modlu değil). OpenAI, aşağıdakiler gibi çok modlu modellere geçmeden önce dil modellerinin sınırlarını zorlamaya çalışır: LEVHA 2, sonunda tek modlu sistemleri aşacağını tahmin ediyorlar.
- Kıtlık: GPT-4, öncekiler GPT-2 ve GPT-3 gibi yoğun bir model olacaktır (tüm parametreler herhangi bir girişi işlemek için kullanılacaktır). Gelecekte, seyreklik daha önemli hale gelecektir.
- hiza: GPT-4 bize GPT-3'ten daha yakın yaklaşacaktır. İnsan girdisi ile geliştirilen InstructGPT'den öğrendiklerini ortaya koyacaktır. Yine de, AI yakınsaması çok uzakta ve çabalar abartılmak yerine dikkatli bir şekilde değerlendirilmelidir.
Sonuç
Yapay Genel Zeka. Bu büyük bir hedef, ancak OpenAI geliştiricileri bunu başarmak için çalışıyor. YGZ'nin amacı, bir kişinin yapabileceği her türlü faaliyeti anlayabilecek ve yapabilecek bir model veya "aracı" yaratmaktır.
GPT-4 bu amaca ulaşmanın bir sonraki adımı olabilir ve kulağa bilim kurgu filminden fırlamış gibi geliyor. AGI'ye ulaşmanın ne kadar gerçekçi olduğunu merak ediyor olabilirsiniz.
Google'ın Mühendislik Direktörü Ray Kurzweil'e göre, 2029 yılına kadar bu dönüm noktasına ulaşacağız. Bunu akılda tutarak, AGI'ye (Yapay Genel Zeka) yaklaştıkça GPT-4'e ve bu modelin sonuçlarına daha yakından bakalım.
Yorum bırak