विषयसूची[लुकाउनुहोस्][देखाउनु]
GPT-3, पलको ठूलो न्यूरल नेटवर्क, मे २०२० मा प्रकाशित भएको थियो OpenAI, AI स्टार्टअप एलोन मस्क र साम अल्टम्यान द्वारा सह-स्थापित। GPT-3 यसको पूर्ववर्ती GPT-175 मा 1,5 बिलियन प्यारामिटरहरूको तुलनामा 2 बिलियन प्यारामिटरहरूको साथ एक अत्याधुनिक भाषा मोडेल हो।
GPT-3 ले माइक्रोसफ्टको NLG ट्युरिङ मोडेल (ट्युरिङ नेचुरल ल्याङ्ग्वेज जेनेरेसन) लाई पछि पारेको छ, जसले पहिले 17 बिलियन प्यारामिटरहरूसँग सबैभन्दा ठूलो न्यूरल नेटवर्कको रेकर्ड राखेको थियो।
भाषा मोडेलको प्रशंसा, आलोचना र छानबिन गरिएको छ; यसले नयाँ र चाखलाग्दो प्रयोगहरू पनि जन्माएको छ। र अब त्यहाँ रिपोर्टहरू छन् कि GPT-4, OpenAI को अर्को संस्करण भाषा मोडेल, साँच्चै चाँडै आउँदैछ।
यदि तपाईं GPT-4 बारे थप जान्न चाहनुहुन्छ भने तपाईं सही साइटमा आइपुग्नुभएको छ। हामी यस लेखमा GPT-4 गहिराइमा हेर्नेछौं, यसको प्यारामिटरहरू कभर गर्दै, यसले कसरी अन्य मोडेलहरूसँग तुलना गर्छ, र थप।
त्यसोभए, GPT-4 के हो?
GPT-4 को दायरा बुझ्नको लागि, हामीले पहिले GPT-3, यसको पूर्ववर्ती बुझ्नुपर्छ। GPT-3 (उत्पन्न पूर्व-प्रशिक्षित ट्रान्सफर्मर, तेस्रो-पुस्ता) एक स्वायत्त सामग्री-उत्पादन उपकरण हो।
प्रयोगकर्ताहरूले डाटा प्रविष्ट गर्दछ मेशिन सिकाइ मोडेल, जसले पछि प्रतिक्रियामा सान्दर्भिक लेखनको ठूलो मात्रा उत्पादन गर्न सक्छ, OpenAI अनुसार। GPT-4 केहि-शट अवस्थाहरूमा मल्टिटास्किङमा उल्लेखनीय रूपमा राम्रो हुनेछ - एक प्रकारको मेशिन सिकाइ - नतिजाहरूलाई मानिसहरूको नजिक ल्याउने।
GPT-3 को निर्माण गर्न करोडौं पाउन्ड खर्च हुन्छ, तर GPT-4 मा धेरै लागत लाग्ने अनुमान गरिएको छ किनभने यो स्केलमा पाँच सय गुणा ठूलो हुनेछ। यसलाई परिप्रेक्ष्यमा राख्नको लागि,
GPT-4 मस्तिष्कमा synapses जस्तै धेरै विशेषताहरू हुन सक्छ। GPT-4 ले मुख्यतया GPT-3 को रूपमा उही विधिहरू प्रयोग गर्नेछ, यसरी एक प्रतिमान छलांग हुनुको सट्टा, GPT-4 ले GPT-3 हाल हासिल गरेकोमा विस्तार हुनेछ - तर उल्लेखनीय रूपमा ठूलो अनुमान क्षमताको साथ।
GPT-3 ले प्रयोगकर्ताहरूलाई व्यावहारिक उद्देश्यका लागि प्राकृतिक भाषामा प्रवेश गर्न अनुमति दियो, तर यसलाई अझै राम्रो नतिजा ल्याउने प्रम्प्ट डिजाइन गर्न केही विशेषज्ञता चाहिन्छ। GPT-4 प्रयोगकर्ताहरूको मनसाय भविष्यवाणी गर्नमा उल्लेखनीय रूपमा राम्रो हुनेछ।
GPT-4 मापदण्डहरू के हुनेछ?
सबैभन्दा व्यापक रूपमा प्रतिक्षा गरिएको AI प्रगतिहरू मध्ये एक भए तापनि, GPT-4 को बारेमा केही थाहा छैन: यो कस्तो देखिनेछ, यसमा के विशेषताहरू हुनेछन्, र यसमा कस्ता शक्तिहरू हुनेछन्।
गत वर्ष, Altman ले प्रश्नोत्तर गरे र GPT-4 को लागि OpenAI को महत्वाकांक्षा बारे केही विवरणहरू प्रकट गरे। यो GPT-3 भन्दा ठूलो हुनेछैन, Altman अनुसार। GPT-4 सबैभन्दा व्यापक रूपमा प्रयोग हुने सम्भावना छैन भाषा मोडेल। यद्यपि मोडेल अघिल्लो पुस्ताको तुलनामा ठूलो हुनेछ तंत्रिका सञ्जालहरू, यसको आकार यसको विशिष्ट विशेषता हुनेछैन। GPT-3 र Gopher सबैभन्दा प्रशंसनीय उम्मेद्वारहरू (175B-280B) हुन्।
Nvidia र माइक्रोसफ्टको Megatron-Turing NLG ले कीर्तिमान राख्यो घना न्यूरल नेटवर्क 530B मा प्यारामिटरहरू - GPT-3 को तीन गुणा - हालै सम्म Google को PaLM ले यसलाई 540B मा लिएको थियो। अचम्मको कुरा, धेरै कम मोडेलहरूले MT-NLG लाई पछि पारे।
पावर-ल कनेक्सनका अनुसार, OpenAI का Jared Kaplan र सहकर्मीहरूले 2020 मा निर्धारण गरे कि जब प्रशोधन बजेट वृद्धि प्रायः प्यारामिटरहरूको संख्या बढाउनमा खर्च गरिन्छ, कार्यसम्पादन सबैभन्दा ठूलो सुधार हुन्छ। Google, Nvidia, Microsoft, OpenAI, DeepMind, र अन्य भाषा-मोडलिंग कम्पनीहरूले आज्ञाकारी रूपमा नियमहरू पालना गरे।
Altman ले संकेत गरे कि तिनीहरू अब ठूला मोडेलहरू निर्माण गर्नमा ध्यान केन्द्रित गर्दैनन्, बरु साना मोडेलहरूको प्रदर्शनलाई अधिकतम बनाउनमा।
ओपनएआई शोधकर्ताहरू स्केलिंग परिकल्पनाका प्रारम्भिक समर्थकहरू थिए, तर उनीहरूले पत्ता लगाएका हुन सक्छन् कि अतिरिक्त, पहिले पत्ता नलागेका मार्गहरूले उत्कृष्ट मोडेलहरू निम्त्याउन सक्छ। यी कारणहरूका लागि GPT-4 GPT-3 भन्दा उल्लेखनीय रूपमा ठूलो हुनेछैन।
OpenAI ले डेटा, एल्गोरिदम, प्यारामिटराइजेसन, र पङ्क्तिबद्धता जस्ता अन्य पक्षहरूमा बढी फोकस गर्नेछ, जसमा महत्त्वपूर्ण फाइदाहरू अझ छिटो उपज गर्ने सम्भावना छ। हामीले कुर्नु पर्छ र 100T प्यारामिटरहरू भएको मोडेलले के गर्न सक्छ भनेर हेर्नु पर्छ।
कुञ्जी बिन्दुहरू:
- मोडेल को आकार: GPT-4 GPT-3 भन्दा ठूलो हुनेछ, तर धेरैले होइन (MT-NLG 530B र PaLM 540B)। मोडेलको आकार अतुलनीय हुनेछ।
- इष्टतमता: GPT-4 ले GPT-3 भन्दा धेरै स्रोतहरू प्रयोग गर्नेछ। यसले प्यारामिटराइजेशन (इष्टतम हाइपरपेरामिटरहरू) र स्केलिंग विधिहरूमा नयाँ इष्टतमता अन्तरदृष्टिहरू लागू गर्नेछ (प्रशिक्षण टोकनहरूको संख्या मोडेल आकार जत्तिकै महत्त्वपूर्ण छ)।
- बहुविधता: GPT-4 ले पाठ सन्देशहरू पठाउन र प्राप्त गर्न मात्र सक्षम हुनेछ (मल्टिमोडल होइन)। OpenAI ले भाषा मोडेलहरूलाई उनीहरूको सीमामा धकेल्न खोज्छ जस्तै मल्टिमोडल मोडेलहरूमा संक्रमण गर्नु अघि SLAB 2, जसलाई तिनीहरूले अन्ततः यूनिमोडल प्रणालीहरू पार गर्ने भविष्यवाणी गर्छन्।
- स्पर्सिटी: GPT-4, यसको पूर्ववर्ती GPT-2 र GPT-3 जस्तै, एक घने मोडेल हुनेछ (सबै प्यारामिटरहरू कुनै पनि इनपुट प्रक्रिया गर्न प्रयोगमा हुनेछ)। भविष्यमा, sparsity थप महत्त्वपूर्ण हुनेछ।
- पङ्क्तिबद्ध: GPT-4 ले हामीलाई GPT-3 भन्दा धेरै नजिकबाट सम्पर्क गर्नेछ। यसले मानव इनपुटको साथ विकसित गरिएको InstructGPT बाट सिकेका कुराहरू राख्नेछ। अझै, AI अभिसरण धेरै टाढा छ, र प्रयासहरू बढाइचढाइको सट्टा होसियारीपूर्वक मूल्याङ्कन गर्नुपर्छ।
निष्कर्ष
आर्टिफिसियल जनरल इन्टेलिजेन्स। यो एक ठूलो उद्देश्य हो, तर OpenAI विकासकर्ताहरूले यसलाई प्राप्त गर्न काम गरिरहेका छन्। AGI को लक्ष्य एक व्यक्तिले गर्न सक्ने कुनै पनि गतिविधि बुझ्न र गर्न सक्षम मोडेल वा "एजेन्ट" सिर्जना गर्नु हो।
GPT-4 यो लक्ष्य हासिल गर्न अर्को चरण हुन सक्छ, र यो एक विज्ञान कथा चलचित्र बाहिर केहि जस्तै लाग्दछ। तपाई सोचिरहनु भएको छ कि AGI प्राप्त गर्न कति यथार्थवादी छ।
गुगलका इन्जिनियरिङ निर्देशक रे कुर्जवेलका अनुसार हामी २०२९ सम्ममा यो कोशेढुङ्गा पार गर्नेछौं। यसलाई ध्यानमा राख्दै, हामी AGI (कृत्रिम सामान्य बुद्धिमत्ता) को नजिक पुग्दा GPT-2029 र यस मोडेलको प्रभावहरूलाई गहिरो हेरौं।
जवाफ छाड्नुस्