جدول المحتويات[يخفي][يعرض]
تم نشر GPT-3 ، الشبكة العصبية الكبيرة في الوقت الحالي ، في مايو 2020 بواسطة OpenAI، شركة ناشئة في مجال الذكاء الاصطناعي شارك في تأسيسها Elon Musk و Sam Altman. GPT-3 هو نموذج لغوي متطور يحتوي على 175 مليار معلمة مقارنة بـ 1,5 مليار معلمة في سلفه GPT-2.
تفوقت GPT-3 على نموذج NLG Turing من Microsoft (Turing Natural Language Generation) ، والذي كان قد سجل سابقًا الرقم القياسي لأكبر شبكة عصبية مع 17 مليار معلمة.
لقد تم الإشادة بالنموذج اللغوي ، وانتقاده ، وحتى تمحيصه. لقد ولدت أيضًا استخدامات جديدة ومثيرة للفضول. والآن هناك تقارير تفيد بأن GPT-4 ، الإصدار القادم من OpenAI نموذج اللغة، سيأتي قريبًا بالفعل.
لقد وصلت إلى الموقع الصحيح إذا كنت تريد معرفة المزيد عن GPT-4. سنلقي نظرة متعمقة على GPT-4 في هذه المقالة ، ونغطي معلماتها ، وكيف تقارن مع الطرز الأخرى ، وأكثر من ذلك.
إذن ، ما هو GPT-4؟
لفهم نطاق GPT-4 ، يجب أن نفهم أولاً GPT-3 ، سلفه. GPT-3 (المحولات التوليدية المدربة مسبقًا ، الجيل الثالث) هي أداة مستقلة لتوليد المحتوى.
يقوم المستخدمون بإدخال البيانات في ملف آلة التعلم النموذج ، والذي يمكن أن ينتج لاحقًا كميات هائلة من الكتابة ذات الصلة استجابةً لذلك ، وفقًا لـ OpenAI. سيكون GPT-4 أفضل بكثير في تعدد المهام في ظروف قليلة اللقطات - نوع من آلة التعلم - تقريب النتائج من نتائج البشر.
تكلف GPT-3 مئات الملايين من الجنيهات ، لكن من المتوقع أن تكلف GPT-4 أكثر بكثير لأنها ستكون أكبر بخمسمائة مرة من حيث الحجم. لوضع هذا في منظور ،
قد يكون لـ GPT-4 العديد من الخصائص مثل نقاط الاشتباك العصبي في الدماغ. ستستخدم GPT-4 بشكل أساسي نفس الأساليب مثل GPT-3 ، وبالتالي بدلاً من أن تكون قفزة نموذجية ، ستوسع GPT-4 فيما تنجزه GPT-3 حاليًا - ولكن مع قدرة استدلال أكبر بشكل ملحوظ.
يسمح GPT-3 للمستخدمين بإدخال لغة طبيعية لأغراض عملية ، لكنه لا يزال بحاجة إلى بعض الخبرة لتصميم موجه من شأنه أن يؤدي إلى نتائج جيدة. سيكون GPT-4 أفضل بكثير في التنبؤ بنوايا المستخدمين.
ماذا ستكون معلمات GPT-4؟
على الرغم من كونه أحد أكثر التطورات المنتظرة في مجال الذكاء الاصطناعي ، إلا أنه لا يوجد شيء معروف عن GPT-4: كيف سيبدو ، وما هي الخصائص التي ستتمتع بها ، وما هي الصلاحيات التي ستتمتع بها.
في العام الماضي ، أجرى Altman سؤالاً وجوابًا وكشف عن بعض التفاصيل حول طموحات OpenAI في GPT-4. لن يكون أكبر من GPT-3 ، وفقًا لألتمان. من غير المحتمل أن يكون GPT-4 هو الأكثر استخدامًا نموذج اللغة. على الرغم من أن النموذج سيكون ضخمًا مقارنة بالأجيال السابقة من الشبكات العصبيةلن يكون حجمه هو صفته المميزة. GPT-3 و Gopher هما المرشحان الأكثر قبولًا (175B-280B).
احتفظت Nvidia و Megatron-Turing NLG من Microsoft بالرقم القياسي لـ الشبكة العصبية الأكثر كثافة المعلمات في 530B - ثلاثة أضعاف تلك الموجودة في GPT-3 - حتى وقت قريب عندما أخذها PaLM من Google في 540B. والمثير للدهشة أن عددًا كبيرًا من الطرز الأقل تفوقًا على MT-NLG.
وفقًا لاتصال قانون السلطة ، قرر Jared Kaplan من OpenAI وزملاؤه في عام 2020 أنه عند معالجة زيادات الميزانية يتم إنفاقها في الغالب على زيادة عدد المعلمات ، فإن الأداء يتحسن إلى أقصى حد. اتبعت Google و Nvidia و Microsoft و OpenAI و DeepMind وغيرها من شركات النمذجة اللغوية اللوائح بطاعة.
أشار ألتمان إلى أنهم لم يعودوا يركزون على بناء نماذج ضخمة ، بل على تعظيم أداء النماذج الأصغر.
كان باحثو OpenAI من أوائل المؤيدين لفرضية القياس ، لكنهم ربما اكتشفوا أن المسارات الإضافية غير المكتشفة سابقًا قد تؤدي إلى نماذج متفوقة. لن يكون GPT-4 أكبر بكثير من GPT-3 لهذه الأسباب.
ستركز OpenAI بشكل أكبر على الجوانب الأخرى ، مثل البيانات والخوارزميات والمعايير والمواءمة ، والتي لديها القدرة على تحقيق فوائد كبيرة بسرعة أكبر. سيتعين علينا الانتظار ونرى ما يمكن أن يفعله النموذج الذي يحتوي على معلمات 100T.
النقاط الرئيسية:
- حجم النموذج: سيكون GPT-4 أكبر من GPT-3 ، ولكن ليس كثيرًا (MT-NLG 530B و PaLM 540B). سيكون حجم النموذج غير ملحوظ.
- أمثلية: سيستخدم GPT-4 موارد أكثر من GPT-3. سيتم تطبيق رؤى جديدة حول الأمثلية في تحديد المعلمات (المعلمات الفائقة المثلى) وطرق القياس (عدد الرموز المميزة للتدريب لا يقل أهمية عن حجم النموذج).
- تعدد الوسائط: سيكون GPT-4 قادرًا فقط على إرسال واستقبال الرسائل النصية (ليست متعددة الوسائط). تسعى OpenAI إلى دفع نماذج اللغة إلى أقصى حدودها قبل الانتقال إلى النماذج متعددة الوسائط مثل دال 2، والتي يتوقعون أنها ستتجاوز في النهاية الأنظمة أحادية الوسائط.
- تناثر: سيكون GPT-4 ، مثل سابقيه GPT-2 و GPT-3 ، نموذجًا كثيفًا (سيتم استخدام جميع المعلمات لمعالجة أي إدخال معين). في المستقبل ، سيصبح التناثر أكثر أهمية.
- انحياز: GPT-4 سوف يقترب منا بشكل أقرب من GPT-3. ستضع ما تعلمته من InstructGPT ، والتي تم تطويرها باستخدام المدخلات البشرية. ومع ذلك ، فإن تقارب الذكاء الاصطناعي لا يزال بعيد المنال ، ويجب تقييم الجهود بعناية بدلاً من المبالغة فيها.
وفي الختام
الذكاء العام الاصطناعي. إنه هدف كبير ، لكن مطوري OpenAI يعملون على تحقيقه. الهدف من الذكاء الاصطناعي العام هو إنشاء نموذج أو "وكيل" قادر على فهم وتنفيذ أي نشاط يمكن لأي شخص القيام به.
قد تكون GPT-4 هي الخطوة التالية في تحقيق هذا الهدف ، ويبدو وكأنه شيء من فيلم خيال علمي. قد تتساءل عن مدى واقعية تحقيق الذكاء الاصطناعي العام.
سنصل إلى هذا الإنجاز بحلول عام 2029 ، وفقًا لراي كورزويل ، مدير الهندسة في Google. مع وضع ذلك في الاعتبار ، دعونا نلقي نظرة أعمق على GPT-4 وتداعيات هذا النموذج مع اقترابنا من AGI (الذكاء العام الاصطناعي).
اترك تعليق