ഉള്ളടക്ക പട്ടിക[മറയ്ക്കുക][കാണിക്കുക]
ഈ നിമിഷത്തിന്റെ വലിയ ന്യൂറൽ നെറ്റ്വർക്കായ GPT-3, 2020 മെയ് മാസത്തിൽ പ്രസിദ്ധീകരിച്ചു ഒപെനൈ, എലോൺ മസ്കും സാം ആൾട്ട്മാനും ചേർന്ന് സ്ഥാപിച്ച AI സ്റ്റാർട്ടപ്പ്. GPT-3 അതിന്റെ മുൻഗാമിയായ GPT-175 ലെ 1,5 ബില്യൺ പാരാമീറ്ററുകളെ അപേക്ഷിച്ച് 2 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു അത്യാധുനിക ഭാഷാ മോഡലാണ്.
3 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഏറ്റവും വലിയ ന്യൂറൽ നെറ്റ്വർക്കിന്റെ റെക്കോർഡ് മുമ്പ് നേടിയ മൈക്രോസോഫ്റ്റിന്റെ NLG ട്യൂറിംഗ് മോഡലിനെ (ട്യൂറിംഗ് നാച്ചുറൽ ലാംഗ്വേജ് ജനറേഷൻ) GPT-17 മറികടന്നു.
ഭാഷാ മാതൃക പ്രശംസിക്കപ്പെടുകയും വിമർശിക്കുകയും സൂക്ഷ്മപരിശോധന നടത്തുകയും ചെയ്തു; പുതിയതും കൗതുകമുണർത്തുന്നതുമായ ഉപയോഗങ്ങൾക്കും ഇത് കാരണമായി. ഓപ്പൺ എഐയുടെ അടുത്ത പതിപ്പായ ജിപിടി-4 ആണെന്ന് ഇപ്പോൾ റിപ്പോർട്ടുകളുണ്ട് ഭാഷാ മാതൃക, തീർച്ചയായും ഉടൻ വരും.
GPT-4 നെ കുറിച്ച് കൂടുതലറിയണമെങ്കിൽ നിങ്ങൾ ശരിയായ സൈറ്റിൽ എത്തിയിരിക്കുന്നു. ഈ ലേഖനത്തിൽ, അതിന്റെ പാരാമീറ്ററുകൾ, മറ്റ് മോഡലുകളുമായി ഇത് എങ്ങനെ താരതമ്യം ചെയ്യുന്നു എന്നിവയും അതിലേറെയും ഉൾക്കൊള്ളുന്ന GPT-4-നെ ഞങ്ങൾ ആഴത്തിൽ പരിശോധിക്കും.
അപ്പോൾ, എന്താണ് GPT-4?
GPT-4-ന്റെ വ്യാപ്തി മനസ്സിലാക്കാൻ, നമ്മൾ ആദ്യം അതിന്റെ മുൻഗാമിയായ GPT-3 മനസ്സിലാക്കണം. GPT-3 (ജനറേറ്റീവ് പ്രീ-ട്രെയിൻഡ് ട്രാൻസ്ഫോർമർ, മൂന്നാം തലമുറ) ഒരു സ്വയംഭരണ ഉള്ളടക്കം സൃഷ്ടിക്കുന്ന ഉപകരണമാണ്.
ഉപയോക്താക്കൾ എയിലേക്ക് ഡാറ്റ നൽകുന്നു മെഷീൻ ലേണിംഗ് ഓപ്പൺഎഐ പറയുന്നതനുസരിച്ച്, പ്രതികരണമായി വൻതോതിൽ പ്രസക്തമായ എഴുത്തുകൾ സൃഷ്ടിക്കാൻ കഴിയുന്ന മോഡൽ. GPT-4, കുറച്ച് ഷോട്ട് അവസ്ഥകളിൽ മൾട്ടിടാസ്കിംഗിൽ മികച്ചതായിരിക്കും - ഒരു തരം മെഷീൻ ലേണിംഗ് - ഫലങ്ങളെ മനുഷ്യരുടേതിലേക്ക് കൂടുതൽ അടുപ്പിക്കുന്നു.
GPT-3 ന്റെ നിർമ്മാണത്തിന് കോടിക്കണക്കിന് പൗണ്ട് ചിലവാകും, എന്നാൽ GPT-4 ന് കൂടുതൽ ചിലവ് പ്രതീക്ഷിക്കുന്നു, കാരണം അത് സ്കെയിലിൽ അഞ്ഞൂറ് മടങ്ങ് വലുതായിരിക്കും. ഇത് വീക്ഷണകോണിൽ വയ്ക്കാൻ,
GPT-4 ന് തലച്ചോറിലെ സിനാപ്സുകളുടെ അത്രയും സ്വഭാവസവിശേഷതകൾ ഉണ്ടായിരിക്കാം. GPT-4 പ്രധാനമായും GPT-3-ന്റെ അതേ രീതികൾ ഉപയോഗിക്കും, അതിനാൽ ഒരു മാതൃകാ കുതിച്ചുചാട്ടം എന്നതിലുപരി, GPT-4 നിലവിൽ GPT-3 കൈവരിക്കുന്ന കാര്യങ്ങളിൽ വിപുലീകരിക്കും - എന്നാൽ ഗണ്യമായ അനുമാന ശേഷിയോടെ.
GPT-3 ഉപയോക്താക്കൾക്ക് പ്രായോഗിക ആവശ്യങ്ങൾക്കായി സ്വാഭാവിക ഭാഷയിൽ പ്രവേശിക്കാൻ അനുവദിച്ചു, എന്നാൽ നല്ല ഫലങ്ങൾ നൽകുന്ന ഒരു പ്രോംപ്റ്റ് രൂപകൽപന ചെയ്യാൻ അതിന് കുറച്ച് വൈദഗ്ദ്ധ്യം ആവശ്യമാണ്. ഉപയോക്താക്കളുടെ ഉദ്ദേശ്യങ്ങൾ പ്രവചിക്കുന്നതിൽ GPT-4 വളരെ മികച്ചതായിരിക്കും.
GPT-4 പാരാമീറ്ററുകൾ എന്തായിരിക്കും?
ഏറ്റവുമധികം കാത്തിരിക്കുന്ന AI മുന്നേറ്റങ്ങളിൽ ഒന്നാണെങ്കിലും, GPT-4-നെ കുറിച്ച് ഒന്നും അറിയില്ല: അത് എങ്ങനെയിരിക്കും, അതിന് എന്ത് സ്വഭാവസവിശേഷതകൾ ഉണ്ടായിരിക്കും, അതിന് എന്ത് ശക്തിയുണ്ടാകും.
കഴിഞ്ഞ വർഷം, ആൾട്ട്മാൻ ഒരു ചോദ്യോത്തരം നടത്തി, GPT-4-നുള്ള ഓപ്പൺഎഐയുടെ അഭിലാഷങ്ങളെക്കുറിച്ചുള്ള കുറച്ച് വിശദാംശങ്ങൾ വെളിപ്പെടുത്തി. ആൾട്ട്മാൻ പറയുന്നതനുസരിച്ച് ഇത് GPT-3 നേക്കാൾ വലുതായിരിക്കില്ല. GPT-4 ഏറ്റവും വ്യാപകമായി ഉപയോഗിക്കപ്പെടാൻ സാധ്യതയില്ല ഭാഷാ മാതൃക. മുൻ തലമുറകളെ അപേക്ഷിച്ച് ഈ മോഡൽ വളരെ വലുതായിരിക്കുമെങ്കിലും ന്യൂറൽ നെറ്റ്വർക്കുകൾ, അതിന്റെ വലിപ്പം അതിന്റെ വ്യതിരിക്തമായ സ്വഭാവം ആയിരിക്കില്ല. GPT-3 ഉം ഗോഫറുമാണ് ഏറ്റവും വിശ്വസനീയമായ സ്ഥാനാർത്ഥികൾ (175B-280B).
എൻവിഡിയയും മൈക്രോസോഫ്റ്റിന്റെ മെഗാട്രോൺ-ട്യൂറിംഗ് എൻഎൽജിയും ഇതിനുള്ള റെക്കോർഡ് സ്വന്തമാക്കി ഏറ്റവും സാന്ദ്രമായ ന്യൂറൽ നെറ്റ്വർക്ക് 530B-യിലെ പാരാമീറ്ററുകൾ - GPT-3-ന്റെ മൂന്നിരട്ടി - Google-ന്റെ PalM അത് 540B-ൽ എടുക്കുന്നത് വരെ. അതിശയകരമെന്നു പറയട്ടെ, കുറഞ്ഞ മോഡലുകളുടെ ഒരു കൂട്ടം MT-NLG-യെ മറികടന്നു.
ഒരു പവർ-ലോ കണക്ഷൻ അനുസരിച്ച്, ഓപ്പൺഎഐയുടെ ജാരെഡ് കപ്ലാനും സഹപ്രവർത്തകരും 2020-ൽ നിർണ്ണയിച്ചു, ബജറ്റ് വർദ്ധനകൾ പ്രോസസ്സ് ചെയ്യുമ്പോൾ, പാരാമീറ്ററുകളുടെ എണ്ണം വർദ്ധിപ്പിക്കുന്നതിനാണ് കൂടുതൽ ചെലവഴിക്കുന്നത്, പ്രകടനം ഏറ്റവും മികച്ചത് മെച്ചപ്പെടുത്തുന്നു. Google, Nvidia, Microsoft, OpenAI, DeepMind, മറ്റ് ഭാഷാ മോഡലിംഗ് കമ്പനികൾ എന്നിവ അനുസരണയോടെ നിയന്ത്രണങ്ങൾ പാലിച്ചു.
വലിയ മോഡലുകൾ നിർമ്മിക്കുന്നതിലല്ല, മറിച്ച് ചെറിയ മോഡലുകളുടെ പ്രകടനം പരമാവധിയാക്കുന്നതിലാണ് തങ്ങൾ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നതെന്ന് ആൾട്ട്മാൻ സൂചിപ്പിച്ചു.
ഓപ്പൺഎഐ ഗവേഷകർ സ്കെയിലിംഗ് സിദ്ധാന്തത്തിന്റെ ആദ്യകാല വക്താക്കളായിരുന്നു, എന്നാൽ അധികവും മുമ്പ് കണ്ടെത്താത്തതുമായ പാതകൾ മികച്ച മോഡലുകളിലേക്ക് നയിച്ചേക്കാമെന്ന് അവർ കണ്ടെത്തിയിരിക്കാം. ഈ കാരണങ്ങളാൽ GPT-4 GPT-3 നേക്കാൾ വലുതായിരിക്കില്ല.
കൂടുതൽ വേഗത്തിൽ കാര്യമായ നേട്ടങ്ങൾ ലഭിക്കാൻ സാധ്യതയുള്ള ഡാറ്റ, അൽഗോരിതങ്ങൾ, പാരാമീറ്ററൈസേഷൻ, വിന്യാസം എന്നിവ പോലുള്ള മറ്റ് വശങ്ങളിൽ OpenAI കൂടുതൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കും. 100T പാരാമീറ്ററുകളുള്ള ഒരു മോഡലിന് എന്ത് ചെയ്യാനാകുമെന്ന് കാത്തിരുന്ന് കാണേണ്ടി വരും.
കീ പോയിന്റുകൾ:
- മോഡലിന്റെ വലിപ്പം: GPT-4, GPT-3-നേക്കാൾ വലുതായിരിക്കും, പക്ഷേ അധികമാകില്ല (MT-NLG 530B, PalM 540B). മോഡലിന്റെ വലുപ്പം ശ്രദ്ധേയമല്ല.
- ഒപ്റ്റിമലിറ്റി: GPT-4 GPT-3 നേക്കാൾ കൂടുതൽ വിഭവങ്ങൾ ഉപയോഗിക്കും. പാരാമീറ്ററൈസേഷൻ (ഒപ്റ്റിമൽ ഹൈപ്പർപാരാമീറ്ററുകൾ), സ്കെയിലിംഗ് രീതികൾ (മോഡൽ വലുപ്പം പോലെ പ്രധാനമാണ് പരിശീലന ടോക്കണുകളുടെ എണ്ണം) എന്നിവയിലേക്കുള്ള പുതിയ ഒപ്റ്റിമലിറ്റി ഉൾക്കാഴ്ചകൾ ഇത് നടപ്പിലാക്കും.
- മൾട്ടിമോഡലിറ്റി: GPT-4 ന് ടെക്സ്റ്റ് സന്ദേശങ്ങൾ അയയ്ക്കാനും സ്വീകരിക്കാനും മാത്രമേ കഴിയൂ (മൾട്ടിമോഡൽ അല്ല). മൾട്ടിമോഡൽ മോഡലുകളിലേക്ക് മാറുന്നതിന് മുമ്പ് ഭാഷാ മോഡലുകളെ അവയുടെ പരിധിയിലേക്ക് മാറ്റാൻ OpenAI ശ്രമിക്കുന്നു ഡാലെ 2, അവർ പ്രവചിക്കുന്നത് ഒടുവിൽ ഏകീകൃത സംവിധാനങ്ങളെ മറികടക്കുമെന്ന്.
- സ്പാർസിറ്റി: GPT-4, അതിന്റെ മുൻഗാമികളായ GPT-2, GPT-3 എന്നിവ പോലെ സാന്ദ്രമായ ഒരു മാതൃകയായിരിക്കും (എല്ലാ പരാമീറ്ററുകളും നൽകിയിരിക്കുന്ന ഇൻപുട്ട് പ്രോസസ്സ് ചെയ്യുന്നതിന് ഉപയോഗത്തിലായിരിക്കും). ഭാവിയിൽ, സ്പാർസിറ്റി കൂടുതൽ പ്രാധാന്യമർഹിക്കും.
- വിന്യാസം: GPT-4, GPT-3 നേക്കാൾ അടുത്ത് നമ്മെ സമീപിക്കും. മാനുഷിക ഇൻപുട്ട് ഉപയോഗിച്ച് വികസിപ്പിച്ച InstructGPT-യിൽ നിന്ന് പഠിച്ച കാര്യങ്ങൾ ഇത് ഉൾപ്പെടുത്തും. എന്നിരുന്നാലും, AI ഒത്തുചേരൽ വളരെ അകലെയാണ്, മാത്രമല്ല ശ്രമങ്ങൾ അതിശയോക്തിപരമാക്കുന്നതിനുപകരം ശ്രദ്ധാപൂർവ്വം വിലയിരുത്തണം.
തീരുമാനം
ആർട്ടിഫിഷ്യൽ ജനറൽ ഇന്റലിജൻസ്. ഇതൊരു വലിയ ലക്ഷ്യമാണ്, പക്ഷേ ഓപ്പൺഎഐ ഡവലപ്പർമാർ അത് നേടുന്നതിനായി പ്രവർത്തിക്കുന്നു. ഒരു വ്യക്തിക്ക് ചെയ്യാൻ കഴിയുന്ന ഏതൊരു പ്രവർത്തനവും മനസ്സിലാക്കാനും ചെയ്യാനും കഴിവുള്ള ഒരു മോഡൽ അല്ലെങ്കിൽ "ഏജന്റ്" സൃഷ്ടിക്കുക എന്നതാണ് AGI യുടെ ലക്ഷ്യം.
ഈ ലക്ഷ്യം കൈവരിക്കുന്നതിനുള്ള അടുത്ത ഘട്ടം GPT-4 ആയിരിക്കാം, ഇത് ഒരു സയൻസ് ഫിക്ഷൻ സിനിമയിൽ നിന്ന് പുറത്തുള്ള ഒന്നാണെന്ന് തോന്നുന്നു. എജിഐ നേടുന്നത് എത്രത്തോളം യാഥാർത്ഥ്യമാണെന്ന് നിങ്ങൾ ചിന്തിച്ചേക്കാം.
2029-ഓടെ ഞങ്ങൾ ഈ നാഴികക്കല്ല് പിന്നിടുമെന്ന് ഗൂഗിളിന്റെ എഞ്ചിനീയറിംഗ് ഡയറക്ടർ റേ കുർസ്വെയിൽ പറയുന്നു. ഇത് മനസ്സിൽ വെച്ചുകൊണ്ട്, നമുക്ക് എജിഐ (ആർട്ടിഫിഷ്യൽ ജനറൽ ഇന്റലിജൻസ്) യോട് അടുക്കുമ്പോൾ GPT-4-നെക്കുറിച്ചും ഈ മോഡലിന്റെ അനന്തരഫലങ്ങളെക്കുറിച്ചും ആഴത്തിൽ നോക്കാം.
നിങ്ങളുടെ അഭിപ്രായങ്ങൾ രേഖപ്പെടുത്തുക