மொழி அங்கீகாரம் மற்றும் தலைமுறைக்கு பயிற்சியளிக்கப்பட்ட பெரிய நரம்பியல் நெட்வொர்க்குகள் சமீபத்திய ஆண்டுகளில் பல்வேறு பணிகளில் சிறந்த முடிவுகளை வெளிப்படுத்தியுள்ளன. பெரிய மொழி மாதிரிகள் (LLMகள்) சில-ஷாட் கற்றலுக்குப் பயன்படுத்தப்படலாம் மற்றும் விரிவான பணி சார்ந்த தரவு அல்லது மாதிரி அளவுருக்களை மாற்றாமல் சிறந்த விளைவுகளைப் பெறலாம் என்பதை GPT-3 நிரூபித்தது.
கூகிள், சிலிக்கான் வேலி தொழில்நுட்ப பெஹிமோத், அடுத்த தலைமுறை AI-மொழி மாடலாக உலகளாவிய தொழில்நுட்பத் துறையில் பால்எம் அல்லது பாத்வேஸ் மொழி மாதிரியை அறிமுகப்படுத்தியுள்ளது. கூகுள் புதிய ஒன்றை இணைத்துள்ளது செயற்கை நுண்ணறிவு AI-மொழி மாதிரியின் தரத்தை மேம்படுத்துவதற்கான மூலோபாய நோக்கங்களுடன் PalM இல் கட்டமைப்பு.
இந்த இடுகையில், பாம் அல்காரிதத்தைப் பயிற்றுவிக்கப் பயன்படுத்தப்படும் அளவுருக்கள், அது தீர்க்கும் சிக்கல் மற்றும் பலவற்றையும் விரிவாக ஆராய்வோம்.
என்ன கூகுளின் பால்எம் அல்காரிதம்?
பாதைகள் மொழி மாதிரி என்ன பால்எம் குறிக்கிறது. இது Pathways AI கட்டமைப்பை வலுப்படுத்துவதற்காக கூகுள் உருவாக்கிய புதிய அல்காரிதம் ஆகும். ஒரே நேரத்தில் ஒரு மில்லியன் வித்தியாசமான செயல்பாடுகளைச் செய்வதே கட்டமைப்பின் முக்கிய குறிக்கோள்.
சிக்கலான தரவுகளைப் புரிந்துகொள்வது முதல் துப்பறியும் பகுத்தறிவு வரை அனைத்தும் இதில் அடங்கும். மொழி மற்றும் பகுத்தறிவு பணிகளில் தற்போதைய AI அதிநவீன மற்றும் மனிதர்களை மிஞ்சும் திறனை PalM கொண்டுள்ளது.
இதில் ஃபியூ-ஷாட் லெர்னிங் அடங்கும், இது மனிதர்கள் புதிய விஷயங்களைக் கற்றுக்கொள்வதைப் பிரதிபலிக்கிறது மற்றும் புதிய சவால்களைத் தீர்க்க அதன் அனைத்து அறிவையும் பயன்படுத்தும் இயந்திரத்தின் நன்மையுடன், இதுவரை கண்டிராத புதிய சவால்களைச் சமாளிக்க பல்வேறு அறிவுத் துணுக்குகளை ஒருங்கிணைக்கிறது; PalM இல் உள்ள இந்த திறமைக்கு ஒரு உதாரணம், இதுவரை கேட்டிராத நகைச்சுவையை விளக்கும் திறன் ஆகும்.
மொழிப் புரிதல் மற்றும் உருவாக்கம், மல்டிஸ்டெப் எண்கணிதக் குறியீடு தொடர்பான செயல்பாடுகள், பொது அறிவு பகுத்தறிவு, மொழிபெயர்ப்பு மற்றும் பல உள்ளிட்ட பல்வேறு சவாலான பணிகளில் பல திருப்புமுனைத் திறன்களை PalM வெளிப்படுத்தியது.
பன்மொழி NLP தொகுப்புகளைப் பயன்படுத்தி சிக்கலான சிக்கல்களைத் தீர்க்கும் திறனை இது நிரூபித்துள்ளது. காரணம் மற்றும் விளைவு, கருத்தியல் சேர்க்கைகள், தனித்துவமான விளையாட்டுகள் மற்றும் பல விஷயங்களை வேறுபடுத்துவதற்கு உலகளாவிய தொழில்நுட்ப சந்தையால் பால்எம் பயன்படுத்தப்படலாம்.
மல்டிஸ்டெப் தர்க்க அனுமானம், ஆழமான மொழி, உலகளாவிய அறிவு மற்றும் பிற நுட்பங்களைப் பயன்படுத்தி பல சூழல்களுக்கான ஆழமான விளக்கங்களையும் இது உருவாக்க முடியும்.
கூகுள் எவ்வாறு PalM அல்காரிதத்தை உருவாக்கியது?
PalM இல் Google இன் திருப்புமுனை செயல்திறனுக்காக, பாதைகள் 540 பில்லியன் அளவுருக்கள் வரை அளவிட திட்டமிடப்பட்டுள்ளது. பல களங்களில் திறம்பட மற்றும் திறம்பட பொதுமைப்படுத்தக்கூடிய ஒரே மாதிரியாக இது அங்கீகரிக்கப்பட்டுள்ளது. கூகுளில் உள்ள பாதைகள் துரிதப்படுத்திகளுக்கான விநியோகிக்கப்பட்ட கணினியை உருவாக்குவதற்கு அர்ப்பணிக்கப்பட்டுள்ளது.
பால்எம் என்பது டிகோடர்-மட்டும் டிரான்ஸ்பார்மர் மாடலாகும், இது பாத்வேஸ் அமைப்பைப் பயன்படுத்தி பயிற்சியளிக்கப்பட்டது. கூகுளின் கூற்றுப்படி, பல பணிச்சுமைகளில் அதிநவீன சில-ஷாட் செயல்திறனை PalM வெற்றிகரமாக அடைந்துள்ளது. முதல் முறையாக 6144 சில்லுகள் என அறியப்படும் மிகப்பெரிய TPU-அடிப்படையிலான கணினி உள்ளமைவுக்கு பயிற்சியை விரிவுபடுத்துவதற்கு Pathways அமைப்பை PalM பயன்படுத்தியுள்ளது.
AI-மொழி மாதிரிக்கான பயிற்சி தரவுத்தொகுப்பு ஆங்கிலம் மற்றும் பிற பன்மொழி தரவுத்தொகுப்புகளின் கலவையால் ஆனது. "இழப்பற்ற" சொற்களஞ்சியத்துடன், இது உயர்தர இணைய உள்ளடக்கம், விவாதங்கள், புத்தகங்கள், GitHub குறியீடு, விக்கிபீடியா மற்றும் பலவற்றைக் கொண்டுள்ளது. இழப்பற்ற சொற்களஞ்சியம் இடைவெளியைத் தக்கவைத்துக்கொள்வதற்கும், சொற்களஞ்சியத்தில் இல்லாத யூனிகோட் எழுத்துக்களை பைட்டுகளாக உடைப்பதற்கும் அங்கீகரிக்கப்பட்டுள்ளது.
PalM ஆனது Google மற்றும் Pathways ஆல் நிலையான மின்மாற்றி மாதிரி கட்டமைப்பையும், SwiGLU செயல்படுத்தல், இணையான அடுக்குகள், RoPE உட்பொதிப்புகள், பகிரப்பட்ட உள்ளீடு-வெளியீடு உட்பொதித்தல்கள், பல வினவல் கவனம் மற்றும் சார்பு அல்லது சொற்களஞ்சியம் ஆகியவற்றை உள்ளடக்கிய ஒரு குறிவிலக்கி உள்ளமைவைப் பயன்படுத்தி உருவாக்கப்பட்டது. மறுபுறம், கூகிள் மற்றும் பாத்வேஸின் AI-மொழி மாதிரிக்கு உறுதியான அடிப்படையை வழங்குவதற்கு PalM தயாராக உள்ளது.
PalM பயிற்சிக்கு பயன்படுத்தப்படும் அளவுருக்கள்
கடந்த ஆண்டு, கூகிள் பாத்வேஸ் என்ற ஒற்றை மாடலை அறிமுகப்படுத்தியது, இது ஆயிரக்கணக்கான, இல்லாவிட்டாலும் மில்லியன் கணக்கான விஷயங்களைச் செய்ய பயிற்சியளிக்கப்படலாம் - "அடுத்த தலைமுறை AI கட்டமைப்பு" என்று அழைக்கப்படுகிறது, ஏனெனில் இது ஏற்கனவே உள்ள மாடல்களின் வரம்புகளை ஒரே ஒரு காரியத்தைச் செய்ய பயிற்சியளிக்கும். . தற்போதைய மாடல்களின் திறன்களை விரிவுபடுத்துவதற்குப் பதிலாக, புதிய மாடல்கள் பெரும்பாலும் ஒரு வேலையைச் செய்ய கீழே இருந்து உருவாக்கப்படுகின்றன.
இதன் விளைவாக, அவர்கள் பல்லாயிரக்கணக்கான வெவ்வேறு செயல்பாடுகளுக்கு பல்லாயிரக்கணக்கான மாதிரிகளை உருவாக்கியுள்ளனர். இது நேரத்தைச் செலவழிக்கும் மற்றும் வளம் மிகுந்த பணியாகும்.
புதிய பணிகளை விரைவாகவும் திறமையாகவும் கற்றுக்கொள்வதற்கு ஒரே மாதிரியானது பல்வேறு செயல்பாடுகளைக் கையாளும் மற்றும் தற்போதைய திறமைகளை ஒருங்கிணைக்க முடியும் என்பதை Google Pathways மூலம் நிரூபித்தது.
ஒரே நேரத்தில் பார்வை, மொழியியல் புரிதல் மற்றும் செவிவழி செயலாக்கம் ஆகியவற்றை உள்ளடக்கிய மல்டிமோடல் மாதிரிகள் பாதைகள் மூலம் செயல்படுத்தப்படலாம். பாத்வேஸ் லாங்குவேஜ் மாடல் (PaLM) அதன் 4 பில்லியன் அளவுரு மாடலுக்கு நன்றி பல TPU v540 Pods முழுவதும் ஒரு மாடலைப் பயிற்றுவிக்க அனுமதிக்கிறது.
ஒரு அடர்த்தியான டிகோடர்-மட்டும் டிரான்ஸ்ஃபார்மர் மாடல், பலதரப்பட்ட பணிச்சுமைகளில் அதிநவீன சில-ஷாட் செயல்திறனை விட சிறப்பாக செயல்படுகிறது. தரவு மைய நெட்வொர்க் (DCN) வழியாக இணைக்கப்பட்ட இரண்டு TPU v4 பாட்களில் PalM பயிற்சியளிக்கப்படுகிறது.
இது மாதிரி மற்றும் தரவு இணையான இரண்டையும் பயன்படுத்திக் கொள்கிறது. ஆராய்ச்சியாளர்கள் 3072 ஹோஸ்ட்களுடன் இணைக்கப்பட்ட PalM க்கான ஒவ்வொரு பாட்களிலும் 4 TPU v768 செயலிகளைப் பயன்படுத்தியுள்ளனர். ஆராய்ச்சியாளர்களின் கூற்றுப்படி, இது இதுவரை வெளியிடப்பட்ட மிகப்பெரிய TPU உள்ளமைவாகும், இது பைப்லைன் இணையான தன்மையைப் பயன்படுத்தாமல் பயிற்சியை அளவிட அனுமதிக்கிறது.
பைப் லைனிங் என்பது பொதுவாக ஒரு பைப்லைன் மூலம் CPU இலிருந்து வழிமுறைகளை சேகரிக்கும் செயல்முறையாகும். மாதிரியின் அடுக்குகள் கட்டங்களாகப் பிரிக்கப்படுகின்றன, அவை பைப்லைன் மாடல் பேரலலிசம் (அல்லது பைப்லைன் பேரலலிசம்) வழியாக இணையாக செயலாக்கப்படும்.
ஒரு மைக்ரோ-பேட்சிற்கான முன்னோக்கி பாஸை ஒரு நிலை முடிக்கும்போது செயல்படுத்தும் நினைவகம் அடுத்த படிக்கு அனுப்பப்படும். பின்வரும் நிலை அதன் பின்தங்கிய பரப்புதலை நிறைவு செய்யும் போது சாய்வுகள் பின்நோக்கி அனுப்பப்படும்.
PalM திருப்புமுனை திறன்கள்
கடினமான பணிகளின் வரம்பில், பால்எம் சிறந்த திறன்களைக் காட்டுகிறது. இங்கே பல எடுத்துக்காட்டுகள் உள்ளன:
1. மொழி உருவாக்கம் மற்றும் புரிதல்
ஆங்கிலத்தில் 29 வெவ்வேறு NLP பணிகளில் PalM சோதனை செய்யப்பட்டது.
ஒரு சில-ஷாட் அடிப்படையில், திறந்த-டொமைன் மூடிய-புத்தக மாறுபாடு கேள்வி-பதில் பணிகள் உட்பட 540 பணிகளில் 3 இல் GLaM, GPT-28, Megatron-Turing NLG, Gopher, Chinchilla மற்றும் LaMDA போன்ற முந்தைய பெரிய மாடல்களை விட PalM 29B சிறப்பாக செயல்பட்டது. , குளோஸ் மற்றும் வாக்கியத்தை நிறைவு செய்யும் பணிகள், வினோகிராட்-பாணி பணிகள், இன்-சூழல் வாசிப்பு புரிதல் பணிகள், காமன்சென்ஸ் பகுத்தறிவு பணிகள், SuperGLUE பணிகள் மற்றும் இயற்கையான அனுமானம்.
பல பெரிய-பெஞ்ச் பணிகளில், பால்எம் சிறந்த இயற்கை மொழி விளக்கம் மற்றும் தலைமுறை திறன்களை வெளிப்படுத்துகிறது. எடுத்துக்காட்டாக, மாதிரியானது காரணத்தையும் விளைவையும் வேறுபடுத்தி அறியலாம், சில சூழ்நிலைகளில் கருத்தியல் சேர்க்கைகளைப் புரிந்து கொள்ளலாம் மற்றும் ஒரு ஈமோஜியில் இருந்து திரைப்படத்தை யூகிக்கலாம். வெறும் 22% பயிற்சி கார்பஸ் ஆங்கிலம் அல்லாதது என்றாலும், ஆங்கில NLP பணிகளுக்கு கூடுதலாக மொழிபெயர்ப்பு உட்பட பன்மொழி NLP வரையறைகளில் PalM சிறப்பாக செயல்படுகிறது.
2. பகுத்தறிவு
மல்டிஸ்டெப் எண்கணிதம் அல்லது காமன்சென்ஸ் பகுத்தறிவு தேவைப்படும் பகுத்தறிவு சவால்களில் திருப்புமுனைத் திறன்களை வெளிப்படுத்தத் தூண்டும் சங்கிலி-ஆப்-சிந்தனையுடன் மாதிரி அளவை பால்எம் கலக்கிறது.
முந்தைய எல்எல்எம்கள், கோபர் போன்றவை, செயல்திறனை மேம்படுத்தும் வகையில் மாடல் அளவிலிருந்து குறைவாகவே பயனடைந்தன. மூன்று எண்கணிதம் மற்றும் இரண்டு பொதுவான சிந்தனைத் தரவுத்தொகுப்புகளில் செயின்-ஆஃப்-திங் ப்ராம்டிங் கொண்ட PalM 540B சிறப்பாக செயல்பட்டது.
GPT-55 3B மாதிரியை 175 சிக்கல்களின் பயிற்சித் தொகுப்புடன் நன்றாகச் சரிசெய்து, அதை வெளிப்புற கால்குலேட்டர் மற்றும் சரிபார்ப்பாளருடன் இணைத்து GSM7500K இல் உள்ள 58 சதவீத சிக்கல்களைத் தீர்ப்பதன் மூலம் பெறப்பட்ட முந்தைய சிறந்த ஸ்கோரான 8% ஐ விட PaLM சிறப்பாகச் செயல்பட்டது. 8-ஷாட் தூண்டுதலைப் பயன்படுத்தி கடினமான பள்ளி அளவிலான ஆயிரக்கணக்கான கணித கேள்விகளின் அளவுகோல்.
60-9 வயதுடையவர்கள் அனுபவிக்கும் இடையூறுகளின் சராசரி 12% ஐ நெருங்குவதால் இந்த புதிய மதிப்பெண் குறிப்பாக குறிப்பிடத்தக்கது. இணையத்தில் கிடைக்காத அசல் நகைச்சுவைகளுக்கும் இது பதிலளிக்கலாம்.
3. குறியீடு உருவாக்கம்
இயற்கையான மொழி விளக்கத்திலிருந்து (உரை-க்கு-குறியீடு), மொழிகளுக்கு இடையே குறியீட்டை மொழிபெயர்த்தல் மற்றும் தொகுத்தல் பிழைகளைத் தீர்ப்பது உள்ளிட்ட குறியீட்டு பணிகளிலும் LLMகள் சிறப்பாகச் செயல்படுவதாகக் காட்டப்பட்டுள்ளது. பயிற்சிக்கு முந்தைய தரவுத்தொகுப்பில் 5% குறியீடு மட்டுமே இருந்தபோதிலும், ஒரே மாதிரியில் குறியீட்டு முறை மற்றும் இயல்பான மொழிப் பணிகள் இரண்டிலும் PalM 540B சிறப்பாகச் செயல்படுகிறது.
12 மடங்கு குறைவான பைதான் குறியீட்டைக் கொண்டு பயிற்சியளிக்கும் போது, அதன் சில-ஷாட் செயல்திறன் நம்பமுடியாததாக உள்ளது, ஏனெனில் இது நன்றாக வடிவமைக்கப்பட்ட கோடெக்ஸ் 50B உடன் பொருந்துகிறது. சிறிய மாடல்களை விட பெரிய மாதிரிகள் அதிக திறன் கொண்டதாக இருக்கும் என்று முந்தைய கண்டுபிடிப்புகளுடன் இந்த கண்டுபிடிப்பு பின்தங்கியுள்ளது, ஏனெனில் அவை பலவற்றிலிருந்து கற்றலை மிகவும் திறம்பட மாற்ற முடியும். கணிப்பொறி செயல்பாடு மொழி மற்றும் எளிய மொழி தரவு.
தீர்மானம்
4 பில்லியன் அளவுரு மாதிரியை திறம்பட பயிற்றுவிப்பதன் மூலம் இரண்டு TPU v540 பாட்களில் ஆயிரக்கணக்கான ஆக்சிலரேட்டர் செயலிகளுக்கு அளவிடும் பாத்வேஸ் சிஸ்டத்தின் திறனை, நன்கு ஆய்வு செய்யப்பட்ட, நன்கு நிறுவப்பட்ட, அடர்த்தியான டிகோடர் மட்டுமே டிரான்ஸ்ஃபார்மர் மாடலின் செய்முறையைக் காட்டுகிறது.
இது மாதிரி அளவுகோலின் எல்லைகளைத் தள்ளுவதன் மூலம் இயற்கையான மொழி செயலாக்கம், பகுத்தறிவு மற்றும் குறியீட்டு சவால்களின் வரம்பில் திருப்புமுனை சில-ஷாட் செயல்திறனை அடைகிறது.
ஒரு பதில் விடவும்