Manya-manyan hanyoyin sadarwa na jijiyoyi waɗanda aka horar da su don fahimtar harshe da tsarawa sun nuna kyakkyawan sakamako a ayyuka daban-daban a cikin 'yan shekarun nan. GPT-3 ya tabbatar da cewa ana iya amfani da manyan ƙirar harshe (LLMs) don koyo kaɗan da samun kyakkyawan sakamako ba tare da buƙatar takamaiman takamaiman aiki ko canza sigogin ƙira ba.
Google, Silicon Valley tech behemoth, ya gabatar da PaLM, ko Hanyoyin Harshe Model, zuwa masana'antar fasaha ta duniya a matsayin ƙirar harshe AI na gaba na gaba. Google ya shigar da sabo wucin gadi hankali gine-gine zuwa cikin PaLM tare da dabarun dabarun inganta ingancin ƙirar harshen AI.
A cikin wannan sakon, za mu bincika Palm algorithm dalla-dalla, gami da sigogin da aka yi amfani da su don horar da shi, batun da yake warwarewa, da ƙari mai yawa.
Mene ne Google's PaLM algorithm?
Hanyoyin Harshe Model shine menene PALM yana tsaye don. Wannan sabon algorithm ne wanda Google ya ƙera don ƙarfafa tsarin gine-ginen Hanyoyi AI. Babban makasudin tsarin shine yin ayyuka daban-daban miliyan a lokaci guda.
Waɗannan sun haɗa da komai daga ɓata rikitattun bayanai zuwa tunani mai raɗaɗi. PaLM yana da ikon ƙetare fasahar AI na yanzu da kuma mutane a cikin harshe da ayyukan tunani.
Wannan ya hada da Learning-Shot Learning, wanda ke kwaikwayi yadda dan Adam ke koyon sabbin abubuwa da kuma hada nau'ikan ilimi daban-daban don tunkarar sabbin kalubalen da ba a taba ganin irinsa ba, tare da fa'idar na'ura da za ta iya amfani da dukkan iliminta wajen magance sabbin kalubale; Misali ɗaya na wannan fasaha a cikin PaLM shine ikonta na bayyana wargi da bai taɓa ji ba.
PaLM ta nuna ƙwarewar ci gaba da yawa akan ayyuka daban-daban masu ƙalubale, gami da fahimtar harshe da ƙirƙira, ayyukan da ke da alaƙa da ƙididdiga matakai, tunani na gama-gari, fassarar, da ƙari mai yawa.
Ya nuna ikonsa na warware matsaloli masu rikitarwa ta amfani da saitin NLP na harsuna da yawa. Kasuwar fasaha ta duniya za ta iya amfani da PaLM don bambance dalili da tasiri, haɗuwar ra'ayi, wasanni daban-daban, da sauran abubuwa da yawa.
Hakanan yana iya samar da bayanai mai zurfi don mahallin da yawa ta amfani da ƙima mai ma'ana ta matakai daban-daban, zurfin harshe, ilimin duniya, da sauran dabaru.
Ta yaya Google ya haɓaka PaLM algorithm?
Don ci gaban aikin Google a cikin PaLM, an tsara hanyoyin da za su iya yin girma har zuwa sigogi biliyan 540. An gane shi azaman ƙirar ƙira ɗaya wanda zai iya dacewa da inganci kuma ya zama gama gari a cikin yankuna da yawa. Hanyoyi a Google an sadaukar da su don haɓaka ƙididdigar rarraba don masu haɓakawa.
PaLM samfuri ne na mai canza sheƙa kawai wanda aka horar da shi ta amfani da tsarin Hanyoyi. PaLM ta sami nasarar samun nasarar aiwatar da ayyukan fasaha na zamani a cikin ayyuka da yawa, a cewar Google. PaLM ta yi amfani da tsarin Hanyoyi don faɗaɗa horo zuwa babban tsarin tsarin tushen TPU, wanda aka sani da kwakwalwan kwamfuta 6144 a karon farko.
Ƙididdiga na horo don ƙirar yaren AI an yi shi ne da gauraya na Ingilishi da sauran saitin bayanai na harsuna da yawa. Tare da ƙamus na "marasa asara", ya ƙunshi babban abun ciki na gidan yanar gizo, tattaunawa, littattafai, lambar GitHub, Wikipedia, da ƙari mai yawa. An san ƙamus mara hasara don riƙe farin sarari da karya haruffa Unicode waɗanda ba su cikin ƙamus zuwa bytes.
Google da Pathways ne suka haɓaka PaLM ta hanyar amfani da daidaitaccen tsarin gine-ginen na'ura mai canzawa da ƙayyadaddun tsari wanda ya haɗa da kunnawa SwiGLU, layi ɗaya, abubuwan sakawa na RoPE, abubuwan shigar da bayanai da aka raba, kulawar tambaya da yawa, kuma babu son rai ko ƙamus. PaLM, a gefe guda, tana shirye don samar da ingantaccen tushe don samfurin Google da hanyoyin 'AI-harshen AI.
Sigogi da aka yi amfani da su don horar da PaLM
A bara, Google ya ƙaddamar da hanyoyi, samfuri guda ɗaya wanda za a iya horar da shi don yin dubban, idan ba miliyoyin abubuwa ba - wanda aka yi wa lakabi da "tsarin gine-ginen AI na gaba" tun da zai iya shawo kan iyakokin da ake da su na samun horo don yin abu ɗaya kawai. . Maimakon fadada iyawar samfuran yanzu, ana gina sabbin samfura daga ƙasa zuwa sama don cim ma aiki ɗaya.
A sakamakon haka, sun ƙirƙiri dubun dubatar samfuri don dubun dubatar ayyuka daban-daban. Wannan aiki ne mai cin lokaci kuma mai ɗaukar albarkatu.
Google ya tabbatar ta hanyar Hanyoyi cewa samfurin guda ɗaya zai iya ɗaukar ayyuka iri-iri da zana da haɗa hazaka na yanzu don koyan sabbin ayyuka cikin sauri da inganci.
Za'a iya kunna ƙirar multimodal waɗanda suka haɗa da hangen nesa, fahimtar harshe, da sarrafa sauti duk a lokaci guda ta hanyoyi. Samfurin Harshen Hanyoyi (PaLM) yana ba da damar horar da ƙira ɗaya a cikin ɗimbin TPU v4 Pods godiya ga ƙirar siga na biliyan 540.
PaLM, ƙirar mai jujjuya mai juzu'i-kawai Mai Canjawa, ya fi ƙarfin fasahar zamani na ƴan-harbi a cikin nau'ikan ayyuka daban-daban. Ana horar da PaLM akan TPU v4 Pods guda biyu waɗanda aka haɗa ta hanyar cibiyar sadarwar bayanai (DCN).
Yana ɗaukar amfani da samfuri da daidaiton bayanai. Masu binciken sun yi amfani da na'urori masu sarrafawa na 3072 TPU v4 a cikin kowane Pod don PaLM, waɗanda aka haɗa da runduna 768. A cewar masu binciken, wannan shine babban tsarin TPU wanda har yanzu an bayyana shi, yana ba su damar haɓaka horo ba tare da yin amfani da daidaiton bututun ba.
Rufin bututu shine tsarin tattara umarni daga CPU ta hanyar bututun gabaɗaya. Yaduddukan ƙirar sun kasu kashi-kashi waɗanda za'a iya sarrafa su a layi daya ta hanyar daidaitaccen tsarin bututun (ko daidaitaccen bututun).
Ana aika žwažwalwar ajiyar kunnawa zuwa mataki na gaba lokacin da mataki ɗaya ya kammala wucewar gaba don ƙaramin batch. Sannan ana tura gradients a baya lokacin da mataki mai zuwa ya kammala yaduwa ta baya.
Ƙarfin Ƙarfafawa na PaLM
PaLM yana nuna iyawar karya ƙasa a cikin kewayon ayyuka masu wahala. Ga misalai da yawa:
1. Samar da harshe da fahimtar juna
An gwada PaLM akan ayyuka 29 daban-daban na NLP a cikin Ingilishi.
A kan ƴan-san harbi, PaLM 540B ya yi fice manyan samfuran da suka gabata kamar GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, da LaMDA akan ayyuka 28 cikin 29, gami da buɗe-yanki rufaffiyar bambance-bambancen tambayoyin amsa tambayoyi. , Ayyukan rufewa da kammala jimla, Ayyuka irin na Winograd, ayyuka na fahimtar karatu a cikin mahallin, ayyukan tunani na yau da kullum, Ayyukan SuperGLUE, da ra'ayi na halitta.
A kan ayyuka BIG-bench da yawa, PaLM yana nuna kyakkyawan fassarar harshe na halitta da ƙwarewar tsarawa. Misali, samfurin na iya bambanta tsakanin sanadi da sakamako, fahimtar haɗe-haɗe na ra'ayi a wasu yanayi, har ma da hasashen fim ɗin daga emoji. Ko da yake kawai kashi 22% na ƙungiyar horarwa ba Ingilishi ba ne, PaLM tana aiki da kyau akan ma'auni na NLP na harsuna da yawa, gami da fassarar, ban da ayyukan NLP na Ingilishi.
2. Yin Tunani
PaLM ta haɗe girman ƙirar ƙira tare da sarkar-tunani yana sawa don nuna ƙwarewar ci gaba kan ƙalubalen tunani da ke buƙatar ƙididdiga taki-da-ƙiyi ko fahimtar hankali.
LLMs na baya, irin su Gopher, sun sami fa'ida kaɗan daga girman ƙirar dangane da haɓaka aiki. The PaLM 540B tare da sarkar-tunani da ya sa ya yi nasara sosai a kan alkalumman ƙididdiga uku da na tunani guda biyu.
PaLM ya zarce mafi kyawun maki na baya na 55%, wanda aka samu ta hanyar daidaita tsarin GPT-3 175B tare da tsarin horo na matsalolin 7500 da haɗa shi tare da ƙididdiga na waje da tabbatarwa don warware kashi 58 na batutuwan a cikin GSM8K, a ma'auni na dubban tambayoyi masu wuyar lissafi matakin makaranta ta amfani da faɗakarwa 8-shot.
Wannan sabon maki yana da mahimmanci musamman tunda ya kusanci matsakaicin kashi 60% na cikas da yara masu shekaru 9-12 suka fuskanta. Hakanan yana iya mayar da martani ga barkwanci na asali waɗanda babu su akan intanet.
3. Code Generation
Hakanan an nuna LLMs suna aiki da kyau a cikin ayyukan ƙididdigewa, gami da samar da lamba daga bayanin harshe na halitta (rubutu-zuwa-ladi), fassarar lamba tsakanin harsuna, da warware kurakuran tattarawa. Duk da samun lambar 5% kawai a cikin bayanan horo na farko, PaLM 540B yana aiki da kyau akan duka coding da ayyukan harshe na halitta a cikin ƙira ɗaya.
Ayyukansa na 'yan harbi abu ne mai ban mamaki, saboda ya dace da Codex 12B mai kyau yayin horo tare da lambar Python sau 50. Wannan binciken baya baya tare da binciken da ya gabata cewa manyan samfura na iya zama mafi kyawun samfuri fiye da ƙananan ƙira saboda suna iya haɓaka koyo daga mahara da yawa yadda ya kamata. yarukan shirye-shirye da bayyananniyar bayanan harshe.
Kammalawa
PaLM yana nuna ƙarfin tsarin Hanyoyi don daidaitawa zuwa dubunnan na'urori masu haɓakawa sama da TPU v4 Pods guda biyu ta hanyar horar da ƙirar siga na biliyan 540 yadda ya kamata tare da ingantaccen ingantaccen tsarin girke-girke na ƙirar mai canzawa-kawai Transformer.
Yana samun ci gaba ƴan wasan harbi a cikin kewayon sarrafa harshe na halitta, tunani, da ƙalubalen ƙididdigewa ta hanyar tura iyakokin sikelin ƙira.
Leave a Reply