Matsala ta al'ada a cikin basirar wucin gadi ita ce neman injin da zai iya fahimtar harshen ɗan adam.
Misali, lokacin neman "gidajen cin abinci na Italiyanci kusa" akan injin binciken da kuka fi so, algorithm dole ne yayi nazarin kowace kalma a cikin tambayar ku kuma ya fitar da sakamakon da ya dace. Kyakkyawan ƙa'idar fassara za ta fahimci mahallin wata kalma a cikin Ingilishi kuma ta yaya za ta sami bambance-bambancen nahawu tsakanin harsuna.
Duk wadannan ayyuka da ma fiye da haka sun fada karkashin sashin kimiyyar kwamfuta da aka fi sani da Tsarin Harshen Harshe ya da NLP. Ci gaba a cikin NLP ya haifar da ɗimbin aikace-aikace masu amfani daga mataimakan kama-da-wane kamar Amazon's Alexa zuwa masu tace spam waɗanda ke gano imel ɗin mugu.
Babban ci gaba a cikin NLP shine ra'ayin a babban samfurin harshe ya da LLM. LLMs irin su GPT-3 sun zama masu ƙarfi da alama suna yin nasara a kusan kowane ɗawainiya na NLP ko amfani da harka.
A cikin wannan labarin, za mu bincika menene ainihin LLMs, yadda ake horar da waɗannan samfuran, da iyakokin yanzu da suke da su.
Menene babban samfurin harshe?
A ainihinsa, samfurin harshe shine kawai algorithm wanda ya san yadda yuwuwar jerin kalmomi ke zama ingantacciyar jumla.
Misalin harshe mai sauƙi wanda aka horar akan ƴan littattafai ɗari yakamata ya iya faɗi cewa "Ya tafi gida" ya fi inganci fiye da "Gida ya tafi".
Idan muka maye gurbin ƙananan ƙananan bayanai tare da babban bayanan da aka goge daga intanit, za mu fara tuntuɓar ra'ayin babban samfurin harshe.
Amfani neural networks, Masu bincike zasu iya horar da LLMs akan adadi mai yawa na bayanan rubutu. Saboda yawan bayanan rubutu da samfurin ya gani, LLM ya zama mai kyau sosai wajen tsinkayar kalma ta gaba a jere.
Samfurin ya zama mai haɓaka sosai, yana iya yin ayyuka da yawa na NLP. Waɗannan ayyuka sun haɗa da taƙaita rubutu, ƙirƙirar abun ciki na labari, har ma da kwaikwayi hira irin ta mutum.
Misali, samfurin yaren GPT-3 wanda ya shahara sosai an horar da shi da sama da ma'auni biliyan 175 kuma ana ɗaukarsa a matsayin mafi girman ƙirar harshe ya zuwa yanzu.
Yana da ikon samar da lambar aiki, rubuta dukan labarai, kuma yana iya ɗaukar harbi yayin amsa tambayoyi game da kowane batu.
Yaya ake Horon LLMs?
Mun ɗan taɓo gaskiyar cewa LLMs suna da ƙarfin ƙarfinsu ga girman bayanan horon su. Akwai dalilin da ya sa muke kiran su "manyan" samfurin harshe bayan duk.
Horowa na farko tare da Gine-ginen Transformer
A lokacin matakin horarwa, ana gabatar da LLMs zuwa bayanan rubutu da ke akwai don koyon tsarin gaba ɗaya da ƙa'idodin harshe.
A cikin ƴan shekarun da suka gabata, LLMs an riga an horar da su akan saitin bayanai waɗanda ke rufe wani muhimmin yanki na intanit na jama'a. Misali, an horar da samfurin harshen GPT-3 akan bayanai daga Crawl na kowa dataset, rukunin sakonnin gidan yanar gizo, shafukan yanar gizo, da littafai da aka goge daga sama da yanki miliyan 50.
Ana ciyar da ƙaƙƙarfan saitin bayanai zuwa samfurin da aka sani da a gidan wuta. Transformers wani nau'i ne na zurfin hanyoyin sadarwa wanda ke aiki mafi kyau don bayanan jeri.
Transformers suna amfani da wani encoder-decoder architecture don sarrafa shigarwa da fitarwa. Ainihin, taswirar tana ƙunshe da hanyoyin sadarwa na jijiyoyi guda biyu: encoder da decoder. Encoder na iya cire ma'anar rubutun shigarwa kuma ya adana shi azaman vector. Mai yankewa sai ya karɓi vector kuma ya samar da fassarar sa na rubutu.
Duk da haka, mahimmin ra'ayi wanda ya ba da izinin gine-ginen gidan wuta ya yi aiki sosai shine ƙari na a tsarin kula da kai. Ma'anar kulawa da kai ya ba da damar samfurin ya kula da mafi mahimmanci kalmomi a cikin jimla da aka ba. Tsarin har ma yana la'akari da ma'auni tsakanin kalmomin da ke da nisa a jere.
Wani fa'idar kulawar kai shine cewa tsarin zai iya daidaitawa. Maimakon sarrafa bayanan jeri-na-yi-jeri, ƙirar taranfoma za su iya sarrafa duk abubuwan da aka shigar a lokaci ɗaya. Wannan yana ba da damar tasfoma don horar da bayanai masu yawa da sauri idan aka kwatanta da sauran hanyoyin.
Mai gyarawa
Bayan matakin farko na horo, zaku iya zaɓar gabatar da sabon rubutu don tushen LLM don horarwa akan. Muna kiran wannan tsari daidaitawa kuma ana amfani dashi sau da yawa don ƙara haɓaka fitar da LLM akan wani takamaiman aiki.
Misali, kuna iya amfani da LLM don samar da abun ciki don asusun Twitter ɗin ku. Za mu iya samar da samfurin tare da misalai da yawa na tweets ɗin ku na baya don ba shi ra'ayi na fitarwa da ake so.
Akwai 'yan nau'ikan nau'ikan gyaran gyare-gyare.
Koyon harbi kadan yana nufin tsarin ba da ƙima kaɗan na misalai tare da tsammanin cewa ƙirar harshe za ta gano yadda ake yin irin wannan fitarwa. Koyon harbi daya tsari ne mai kama da haka sai dai misali guda daya kawai aka bayar.
Iyaka na Manyan Samfuran Harshe
LLMs irin su GPT-3 suna da ikon yin ɗimbin lokuta na amfani koda ba tare da daidaitawa ba. Koyaya, waɗannan samfuran har yanzu suna zuwa tare da nasu iyakokin iyaka.
Rashin fahimtar Semantic na Duniya
A saman, LLMs sun bayyana suna nuna hankali. Duk da haka, waɗannan samfuran ba sa aiki kamar yadda kwakwalwa na mutum yayi. LLMs sun dogara kawai akan ƙididdigar ƙididdiga don samar da fitarwa. Ba su da ikon yin tunani da tunani da kansu.
Saboda wannan, LLM na iya fitar da amsoshi marasa ma'ana kawai saboda kalmomin suna da alama "daidai" ko "ƙila a ƙididdiga" lokacin da aka sanya su cikin wannan tsari na musamman.
Majalisa
Samfura kamar GPT-3 suma suna fama da rashin ingantattun martani. LLMs na iya sha wahala daga wani sabon abu da aka sani da mafarki inda samfura ke fitar da amsa ba daidai ba tare da sanin cewa amsa ba ta da tushe a zahiri.
Misali, mai amfani na iya tambayar samfurin don bayyana tunanin Steve Jobs akan sabuwar iPhone. Samfurin na iya haifar da zance daga iska mai bakin ciki dangane da bayanan horonsa.
Son zuciya da Iyakantaccen Ilimi
Kamar sauran algorithms masu yawa, manyan nau'ikan harshe suna da wuyar gaji son zuciya da ke cikin bayanan horo. Yayin da muka fara dogaro da yawa akan LLMs don dawo da bayanai, yakamata masu haɓaka waɗannan samfuran su nemo hanyoyin da za su rage illar da za su iya haifar da martani na son zuciya.
A cikin irin wannan ƙarfin, maƙallan bayanan horo na ƙirar kuma za su hana ƙirar kanta. A halin yanzu, manyan samfuran harshe suna ɗaukar watanni don horarwa. Waɗannan samfuran kuma sun dogara da ma'ajin bayanai waɗanda ke da iyaka. Wannan shine dalilin da ya sa ChatGPT kawai yana da iyakacin sanin abubuwan da suka faru a shekarar 2021 da suka wuce.
Kammalawa
Manyan nau'ikan harshe suna da yuwuwar sauya yadda muke hulɗa da fasaha da duniyarmu gabaɗaya.
Yawan adadin bayanai da ake samu a intanet ya baiwa masu bincike hanyar da za su kwaikwayi sarkakkun harshe. Duk da haka, a kan hanya, waɗannan nau'o'in harshe sun yi kama da fahimtar fahimtar duniya kamar yadda mutum yake.
Yayin da jama'a suka fara amincewa da waɗannan nau'ikan harshe don samar da ingantaccen fitarwa, masu bincike da masu haɓakawa sun riga sun gano hanyoyin da za su ƙara shingen tsaro don fasahar ta kasance cikin ɗabi'a.
Menene makomar LLMs?
Leave a Reply