பொருளடக்கம்[மறை][காட்டு]
GPT-3, இந்த தருணத்தின் பெரிய நரம்பியல் நெட்வொர்க், மே 2020 இல் வெளியிடப்பட்டது OpenAI, எலோன் மஸ்க் மற்றும் சாம் ஆல்ட்மேன் இணைந்து நிறுவிய AI ஸ்டார்ட்அப். GPT-3 என்பது அதன் முன்னோடியான GPT-175 இல் உள்ள 1,5 பில்லியன் அளவுருக்களுடன் ஒப்பிடும்போது 2 பில்லியன் அளவுருக்கள் கொண்ட ஒரு அதிநவீன மொழி மாதிரியாகும்.
GPT-3 மைக்ரோசாப்டின் NLG டூரிங் மாடலை (டூரிங் நேச்சுரல் லாங்குவேஜ் ஜெனரேஷன்) விஞ்சியது, இது 17 பில்லியன் அளவுருக்கள் கொண்ட மிகப்பெரிய நரம்பியல் வலையமைப்பிற்கான சாதனையை இதற்கு முன்பு வைத்திருந்தது.
மொழி மாதிரி பாராட்டப்பட்டது, விமர்சிக்கப்பட்டது, மேலும் ஆராயப்பட்டது; இது புதிய மற்றும் புதிரான பயன்பாடுகளையும் உருவாக்கியுள்ளது. இப்போது ஓபன்ஏஐயின் அடுத்த பதிப்பான ஜிபிடி-4 என்று அறிக்கைகள் வந்துள்ளன மொழி மாதிரி, உண்மையில் விரைவில் வரும்.
GPT-4 பற்றி மேலும் அறிய விரும்பினால், சரியான தளத்திற்கு வந்துவிட்டீர்கள். இந்த கட்டுரையில் GPT-4 ஐ ஆழமாகப் பார்ப்போம், அதன் அளவுருக்கள், மற்ற மாடல்களுடன் அது எவ்வாறு ஒப்பிடுகிறது மற்றும் பலவற்றை உள்ளடக்கியது.
எனவே, GPT-4 என்றால் என்ன?
GPT-4 இன் நோக்கத்தைப் புரிந்து கொள்ள, அதன் முன்னோடியான GPT-3 ஐ நாம் முதலில் புரிந்து கொள்ள வேண்டும். GPT-3 (உருவாக்கும் முன் பயிற்சி பெற்ற மின்மாற்றி, மூன்றாம் தலைமுறை) ஒரு தன்னாட்சி உள்ளடக்கத்தை உருவாக்கும் கருவியாகும்.
பயனர்கள் தரவை உள்ளிடுகின்றனர் a இயந்திர கற்றல் OpenAI இன் படி, அதற்குப் பதிலடியாகப் பெரிய அளவில் பொருத்தமான எழுத்துகளை உருவாக்கக்கூடிய மாதிரி. GPT-4 சில-ஷாட் நிலைகளில் பல்பணி செய்வதில் குறிப்பிடத்தக்க வகையில் சிறப்பாக இருக்கும் - ஒரு வகை இயந்திர கற்றல் - விளைவுகளை மனிதர்களுக்கு இன்னும் நெருக்கமாகக் கொண்டுவருகிறது.
GPT-3 ஐ உருவாக்க நூற்றுக்கணக்கான மில்லியன் பவுண்டுகள் செலவாகும், ஆனால் GPT-4 ஐநூறு மடங்கு அதிகமாக இருக்கும் என்பதால் கணிசமாக அதிக செலவாகும் என்று கணிக்கப்பட்டுள்ளது. இதை முன்னோக்கி வைக்க,
GPT-4 மூளையில் உள்ள ஒத்திசைவுகள் போன்ற பல பண்புகளைக் கொண்டிருக்கலாம். GPT-4 முக்கியமாக GPT-3 போன்ற அதே முறைகளைப் பயன்படுத்தும், எனவே ஒரு முன்னுதாரண பாய்ச்சலாக இல்லாமல், GPT-4 தற்போது GPT-3 என்ன செய்கிறது என்பதை விரிவுபடுத்தும் - ஆனால் குறிப்பிடத்தக்க அளவு அனுமானத் திறனுடன்.
GPT-3 பயனர்கள் நடைமுறை நோக்கங்களுக்காக இயற்கையான மொழியில் நுழைய அனுமதித்தது, ஆனால் நல்ல முடிவுகளைத் தரும் ஒரு ப்ராம்ட்டை வடிவமைக்க சில நிபுணத்துவம் தேவைப்பட்டது. GPT-4 பயனர்களின் நோக்கங்களைக் கணிப்பதில் குறிப்பிடத்தக்க வகையில் சிறப்பாக இருக்கும்.
GPT-4 அளவுருக்கள் என்னவாக இருக்கும்?
மிகவும் பரவலாக எதிர்பார்க்கப்பட்ட AI முன்னேற்றங்களில் ஒன்றாக இருந்தபோதிலும், GPT-4 பற்றி எதுவும் தெரியவில்லை: அது எப்படி இருக்கும், என்ன குணாதிசயங்களைக் கொண்டிருக்கும், என்ன சக்திகளைக் கொண்டிருக்கும்.
கடந்த ஆண்டு, Altman ஒரு Q&A செய்து, GPT-4 க்கான OpenAI இன் லட்சியங்கள் பற்றிய சில விவரங்களை வெளியிட்டார். ஆல்ட்மேனின் கூற்றுப்படி, இது GPT-3 ஐ விட பெரியதாக இருக்காது. GPT-4 மிகவும் பரவலாகப் பயன்படுத்தப்பட வாய்ப்பில்லை மொழி மாதிரி. முந்தைய தலைமுறைகளுடன் ஒப்பிடுகையில் மாடல் மிகப்பெரியதாக இருந்தாலும் நரம்பியல் வலையமைப்புகள், அதன் அளவு அதன் தனிச்சிறப்பு தன்மையாக இருக்காது. GPT-3 மற்றும் கோபர் ஆகியவை மிகவும் நம்பத்தகுந்த வேட்பாளர்கள் (175B-280B).
என்விடியா மற்றும் மைக்ரோசாப்டின் Megatron-Turing NLG ஆகியவை சாதனை படைத்தன அடர்த்தியான நரம்பு வலையமைப்பு 530B இல் உள்ள அளவுருக்கள் - GPT-3 ஐ விட மூன்று மடங்கு - சமீபத்தில் கூகுளின் PalM அதை 540B இல் எடுத்தது. ஆச்சரியப்படும் விதமாக, குறைவான மாடல்கள் MT-NLG ஐ விட சிறப்பாக செயல்பட்டன.
பவர்-லா இணைப்பின்படி, OpenAI இன் Jared Kaplan மற்றும் சகாக்கள் 2020 இல் தீர்மானித்துள்ளனர், பட்ஜெட் அதிகரிப்புகளை செயலாக்கும்போது பெரும்பாலும் அளவுருக்களின் எண்ணிக்கையை அதிகரிப்பதில் செலவழிக்கப்படுகிறது, செயல்திறன் சிறப்பாக மேம்படுகிறது. கூகுள், என்விடியா, மைக்ரோசாப்ட், ஓபன்ஏஐ, டீப் மைண்ட் மற்றும் பிற மொழி-மாடலிங் நிறுவனங்கள் விதிமுறைகளை கீழ்ப்படிதலுடன் பின்பற்றின.
ஆல்ட்மேன் அவர்கள் இனி பாரிய மாடல்களை உருவாக்குவதில் கவனம் செலுத்தவில்லை, மாறாக சிறிய மாடல்களின் செயல்திறனை அதிகரிப்பதில் கவனம் செலுத்துகின்றனர்.
OpenAI ஆராய்ச்சியாளர்கள் அளவிடுதல் கருதுகோளின் ஆரம்ப ஆதரவாளர்களாக இருந்தனர், ஆனால் கூடுதல், முன்னர் கண்டுபிடிக்கப்படாத பாதைகள் சிறந்த மாதிரிகளுக்கு வழிவகுக்கும் என்பதை அவர்கள் கண்டுபிடித்திருக்கலாம். இந்த காரணங்களுக்காக GPT-4 GPT-3 ஐ விட பெரியதாக இருக்காது.
OpenAI ஆனது தரவு, அல்காரிதம்கள், அளவுருக்கள் மற்றும் சீரமைப்பு போன்ற மற்ற அம்சங்களில் அதிக கவனம் செலுத்தும். 100T அளவுருக்கள் கொண்ட மாதிரி என்ன செய்ய முடியும் என்பதை நாம் காத்திருந்து பார்க்க வேண்டும்.
முக்கிய புள்ளிகள்:
- மாதிரியின் அளவு: GPT-4 GPT-3 ஐ விட பெரியதாக இருக்கும், ஆனால் அதிகமாக இருக்காது (MT-NLG 530B மற்றும் PalM 540B). மாதிரியின் அளவு குறிப்பிட முடியாததாக இருக்கும்.
- உகந்தது: GPT-4 GPT-3 ஐ விட அதிக ஆதாரங்களைப் பயன்படுத்தும். இது அளவுருவாக்கம் (உகந்த ஹைப்பர்பாராமீட்டர்கள்) மற்றும் அளவிடுதல் முறைகள் (பயிற்சி டோக்கன்களின் எண்ணிக்கை மாதிரி அளவைப் போலவே முக்கியமானது) பற்றிய புதிய உகந்த நுண்ணறிவுகளை செயல்படுத்தும்.
- பன்முகத்தன்மை: GPT-4 ஆனது உரைச் செய்திகளை மட்டுமே அனுப்பவும் பெறவும் முடியும் (மல்டிமாடல் அல்ல). மல்டிமாடல் மாடல்களுக்கு மாறுவதற்கு முன், மொழி மாதிரிகளை அவற்றின் வரம்புகளுக்குத் தள்ள OpenAI முயல்கிறது டால் 2, அவர்கள் கணிப்பது இறுதியில் ஒரே மாதிரியான அமைப்புகளை மிஞ்சும்.
- ஸ்பார்சிட்டி: GPT-4, அதன் முன்னோடிகளான GPT-2 மற்றும் GPT-3 போன்றது, அடர்த்தியான மாதிரியாக இருக்கும் (அனைத்து அளவுருக்களும் கொடுக்கப்பட்ட உள்ளீட்டைச் செயலாக்க பயன்பாட்டில் இருக்கும்). எதிர்காலத்தில், ஸ்பார்சிட்டி மிகவும் முக்கியமானதாக மாறும்.
- சீரமைப்பு: GPT-4 GPT-3 ஐ விட மிக நெருக்கமாக நம்மை அணுகும். இது மனித உள்ளீட்டைக் கொண்டு உருவாக்கப்பட்ட InstructGPT இலிருந்து கற்றுக்கொண்டதை வைக்கும். இருப்பினும், AI ஒருங்கிணைப்பு வெகு தொலைவில் உள்ளது, மேலும் முயற்சிகள் மிகைப்படுத்தப்படுவதை விட கவனமாக மதிப்பீடு செய்யப்பட வேண்டும்.
தீர்மானம்
செயற்கை பொது நுண்ணறிவு. இது ஒரு பெரிய குறிக்கோள், ஆனால் OpenAI டெவலப்பர்கள் அதை அடைய வேலை செய்கிறார்கள். AGI இன் குறிக்கோள், ஒரு நபரால் செய்யக்கூடிய எந்தவொரு செயலையும் புரிந்துகொண்டு செய்யக்கூடிய ஒரு மாதிரி அல்லது "முகவரை" உருவாக்குவதாகும்.
GPT-4 இந்த இலக்கை அடைவதற்கான அடுத்த படியாக இருக்கலாம், மேலும் இது ஏதோ ஒரு அறிவியல் புனைகதை திரைப்படம் போல் தெரிகிறது. AGI ஐ அடைவது எவ்வளவு யதார்த்தமானது என்று நீங்கள் ஆச்சரியப்படலாம்.
2029 ஆம் ஆண்டுக்குள் இந்த மைல்கல்லை எட்டுவோம் என்று கூகுளின் இன்ஜினியரிங் இயக்குநர் ரே குர்ஸ்வீல் கூறுகிறார். இதைக் கருத்தில் கொண்டு, GPT-4 மற்றும் AGI (செயற்கை பொது நுண்ணறிவு) க்கு நெருங்கி வரும்போது இந்த மாதிரியின் மாற்றங்களைப் பற்றி ஆழமாகப் பார்ப்போம்.
ஒரு பதில் விடவும்