विषय - सूची[छिपाना][प्रदर्शन]
GPT-3, इस समय का बड़ा तंत्रिका नेटवर्क, मई 2020 में प्रकाशित किया गया था OpenAIएआई स्टार्टअप, एलोन मस्क और सैम अल्टमैन द्वारा सह-स्थापित। GPT-3 अपने पूर्ववर्ती GPT-175 के 1,5 बिलियन मापदंडों की तुलना में 2 बिलियन मापदंडों वाला एक अत्याधुनिक भाषा मॉडल है।
GPT-3 ने माइक्रोसॉफ्ट के NLG ट्यूरिंग मॉडल (ट्यूरिंग नेचुरल लैंग्वेज जेनरेशन) से बेहतर प्रदर्शन किया, जिसने पहले 17 बिलियन मापदंडों के साथ सबसे बड़े न्यूरल नेटवर्क का रिकॉर्ड बनाया था।
भाषा मॉडल की प्रशंसा, आलोचना और यहां तक कि जांच भी की गई है; इसने नए और दिलचस्प उपयोगों को भी जन्म दिया है। और अब ऐसी खबरें हैं कि GPT-4, OpenAI का अगला संस्करण है भाषा मॉडल, वास्तव में जल्द ही आ रहा होगा।
यदि आप GPT-4 के बारे में अधिक जानना चाहते हैं तो आप सही साइट पर आये हैं। हम इस लेख में GPT-4 को गहराई से देखेंगे, इसके मापदंडों को कवर करेंगे, यह अन्य मॉडलों से कैसे तुलना करता है, और भी बहुत कुछ।
तो, GPT-4 क्या है?
GPT-4 के दायरे को समझने के लिए, हमें पहले इसके अग्रदूत GPT-3 को समझना होगा। GPT-3 (जेनरेटिव प्री-प्रशिक्षित ट्रांसफार्मर, तीसरी पीढ़ी) एक स्वायत्त सामग्री-उत्पादक उपकरण है।
उपयोगकर्ता डेटा को a में दर्ज करते हैं यंत्र अधिगम मॉडल, जो बाद में OpenAI के अनुसार प्रतिक्रिया में भारी मात्रा में प्रासंगिक लेखन का उत्पादन कर सकता है। GPT-4 कुछ-शॉट स्थितियों में मल्टीटास्किंग में उल्लेखनीय रूप से बेहतर होगा — एक प्रकार का यंत्र अधिगम - परिणामों को मनुष्यों के और भी करीब लाना।
GPT-3 को बनाने में करोड़ों पाउंड की लागत आती है, लेकिन GPT-4 की लागत काफी अधिक होने का अनुमान है क्योंकि इसका पैमाना पाँच सौ गुना अधिक होगा। इसे परिप्रेक्ष्य में रखने के लिए,
GPT-4 में मस्तिष्क में सिनैप्स जितनी कई विशेषताएं हो सकती हैं। GPT-4 मुख्य रूप से GPT-3 के समान तरीकों को नियोजित करेगा, इस प्रकार एक आदर्श छलांग होने के बजाय, GPT-4 उस पर विस्तार करेगा जो GPT-3 वर्तमान में पूरा करता है - लेकिन काफी अधिक अनुमान क्षमता के साथ।
GPT-3 ने उपयोगकर्ताओं को व्यावहारिक उद्देश्यों के लिए प्राकृतिक भाषा में प्रवेश करने की अनुमति दी, लेकिन अच्छे परिणाम देने वाले प्रॉम्प्ट को डिज़ाइन करने के लिए अभी भी कुछ विशेषज्ञता की आवश्यकता थी। GPT-4 उपयोगकर्ताओं के इरादों की भविष्यवाणी करने में काफी बेहतर होगा।
GPT-4 पैरामीटर क्या होंगे?
सबसे व्यापक रूप से प्रतीक्षित AI अग्रिमों में से एक होने के बावजूद, GPT-4 के बारे में कुछ भी ज्ञात नहीं है: यह कैसा दिखेगा, इसमें क्या विशेषताएं होंगी और इसमें क्या शक्तियाँ होंगी।
पिछले साल, Altman ने एक प्रश्नोत्तर किया और GPT-4 के लिए OpenAI की महत्वाकांक्षाओं के बारे में कुछ विवरण प्रकट किए। Altman के अनुसार, यह GPT-3 से बड़ा नहीं होगा। GPT-4 के सबसे व्यापक रूप से उपयोग किए जाने की संभावना नहीं है भाषा मॉडल. हालांकि मॉडल की पिछली पीढ़ियों की तुलना में बहुत बड़ा होगा तंत्रिका जाल, इसका आकार इसकी विशिष्ट विशेषता नहीं होगी। जीपीटी-3 और गोफर सबसे प्रशंसनीय उम्मीदवार हैं (175बी-280बी)।
एनवीडिया और माइक्रोसॉफ्ट के मेगेट्रॉन-ट्यूरिंग एनएलजी ने रिकॉर्ड कायम किया सघनतम तंत्रिका नेटवर्क 530बी पर पैरामीटर - जीपीटी-3 से तीन गुना - हाल ही में जब Google के PaLM ने इसे 540बी पर लिया था। हैरानी की बात यह है कि कई छोटे मॉडलों ने एमटी-एनएलजी से बेहतर प्रदर्शन किया।
पावर-लॉ कनेक्शन के अनुसार, ओपनएआई के जेरेड कपलान और सहकर्मियों ने 2020 में निर्धारित किया कि जब प्रसंस्करण बजट बढ़ता है तो ज्यादातर मापदंडों की संख्या बढ़ाने पर खर्च किया जाता है, प्रदर्शन में सबसे बड़ा सुधार होता है। Google, Nvidia, Microsoft, OpenAI, DeepMind, और अन्य भाषा-मॉडलिंग कंपनियों ने नियमों का पालन किया।
ऑल्टमैन ने संकेत दिया कि वे अब बड़े मॉडलों के निर्माण पर ध्यान केंद्रित नहीं कर रहे हैं, बल्कि छोटे मॉडलों के प्रदर्शन को अधिकतम करने पर ध्यान केंद्रित कर रहे हैं।
ओपनएआई शोधकर्ता स्केलिंग परिकल्पना के शुरुआती प्रस्तावक थे, लेकिन उन्होंने पाया होगा कि अतिरिक्त, पहले से अनदेखे रास्ते बेहतर मॉडल की ओर ले जा सकते हैं। इन कारणों से GPT-4, GPT-3 से बहुत बड़ा नहीं होगा।
ओपनएआई डेटा, एल्गोरिदम, पैरामीटराइजेशन और संरेखण जैसे अन्य पहलुओं पर अधिक ध्यान केंद्रित करेगा, जिनमें अधिक तेज़ी से महत्वपूर्ण लाभ प्राप्त करने की क्षमता है। हमें इंतजार करना होगा और देखना होगा कि 100T पैरामीटर वाला मॉडल क्या कर सकता है।
प्रमुख बिंदु:
- मॉडल का आकार: GPT-4, GPT-3 से बड़ा होगा, लेकिन ज़्यादा नहीं (MT-NLG 530B और PaLM 540B)। मॉडल का आकार उल्लेखनीय नहीं होगा.
- इष्टतमता: GPT-4, GPT-3 की तुलना में अधिक संसाधनों का उपयोग करेगा। यह पैरामीटराइजेशन (इष्टतम हाइपरपैरामीटर) और स्केलिंग विधियों (प्रशिक्षण टोकन की संख्या मॉडल आकार जितनी ही महत्वपूर्ण है) में नई इष्टतमता अंतर्दृष्टि लागू करेगा।
- बहुपद्धतिपरक: GPT-4 केवल टेक्स्ट संदेश भेजने और प्राप्त करने में सक्षम होगा (मल्टीमॉडल नहीं)। ओपनएआई मल्टीमॉडल मॉडल में संक्रमण से पहले भाषा मॉडल को उनकी सीमा तक धकेलना चाहता है डेल 2, जिसके बारे में उनका अनुमान है कि अंततः यह यूनिमॉडल सिस्टम से आगे निकल जाएगा।
- विरलता: GPT-4, अपने पूर्ववर्तियों GPT-2 और GPT-3 की तरह, एक सघन मॉडल होगा (किसी भी इनपुट को संसाधित करने के लिए सभी पैरामीटर उपयोग में होंगे)। भविष्य में विरलता और अधिक महत्वपूर्ण हो जाएगी।
- संरेखण: GPT-4, GPT-3 की तुलना में हमसे अधिक निकटता से संपर्क करेगा। इसने इंस्ट्रक्टजीपीटी से जो सीखा है, उसे लागू करेगा, जिसे मानव इनपुट के साथ विकसित किया गया था। फिर भी, एआई अभिसरण अभी बहुत दूर है, और प्रयासों को बढ़ा-चढ़ाकर पेश करने के बजाय सावधानीपूर्वक मूल्यांकन किया जाना चाहिए।
निष्कर्ष
आर्टिफिशियल जनरल इंटेलिजेंस. यह एक बड़ा उद्देश्य है, लेकिन OpenAI डेवलपर्स इसे हासिल करने के लिए काम कर रहे हैं। एजीआई का लक्ष्य एक ऐसा मॉडल या "एजेंट" बनाना है जो एक व्यक्ति की किसी भी गतिविधि को समझने और करने में सक्षम हो।
GPT-4 इस लक्ष्य को प्राप्त करने की दिशा में अगला कदम हो सकता है, और यह किसी साइंस फिक्शन फिल्म जैसा लगता है। आप सोच रहे होंगे कि एजीआई प्राप्त करना कितना यथार्थवादी है।
गूगल के इंजीनियरिंग निदेशक रे कुर्ज़वील के अनुसार, हम 2029 तक यह मील का पत्थर हासिल कर लेंगे। इसे ध्यान में रखते हुए, आइए GPT-4 और इस मॉडल के प्रभावों पर गहराई से नज़र डालें क्योंकि हम AGI (आर्टिफिशियल जनरल इंटेलिजेंस) के करीब पहुँचते हैं।
एक जवाब लिखें