Is e duilgheadas clasaigeach ann an inntleachd fuadain a bhith an tòir air inneal a thuigeas cànan daonna.
Mar eisimpleir, nuair a bhios tu a’ lorg “taighean-bìdh Eadailteach faisg air làimh” air an einnsean sgrùdaidh as fheàrr leat, feumaidh algairim sgrùdadh a dhèanamh air gach facal anns a’ cheist agad agus na toraidhean iomchaidh a thoirt a-mach. Feumaidh app eadar-theangachaidh reusanta co-theacsa facal sònraichte sa Bheurla a thuigsinn agus dòigh air choireigin cunntas a thoirt air na h-eadar-dhealachaidhean ann an gràmar eadar cànanan.
Tha na gnìomhan sin uile agus mòran a bharrachd a’ tighinn fo fho-raon saidheans coimpiutair ris an canar Giullachd Cànain Nàdarra no NLP. Tha adhartasan ann an NLP air leantainn gu raon farsaing de thagraidhean practaigeach bho luchd-cuideachaidh brìgheil leithid Alexa Amazon gu sìoltachain spama a lorgas post-d droch-rùnach.
Is e an adhartas as ùire ann an NLP am beachd a modail cànain mòr no LLM. Tha LLMn leithid GPT-3 air fàs cho cumhachdach is gu bheil e coltach gu bheil iad a’ soirbheachadh ann an cha mhòr gnìomh NLP no cùis cleachdaidh.
San artaigil seo, seallaidh sinn ri dè dìreach a th’ ann an LLMn, mar a tha na modalan sin air an trèanadh, agus na cuingeadan a th’ aca an-dràsta.
Dè a th’ ann am modail cànain mòr?
Aig a chridhe, tha modal cànain dìreach mar algairim aig a bheil fios dè cho coltach ‘s a tha sreath fhaclan mar sheantans dligheach.
Bu chòir gum biodh modal cànain fìor shìmplidh air a thrèanadh air beagan cheudan leabhraichean comasach air innse gu bheil “Chaidh e dhachaigh” nas dligheach na “Dachaigh chaidh e”.
Ma chuireas sinn stòr-dàta mòr a chaidh a sgrìobadh bhon eadar-lìn an àite an stòr-dàta a tha an ìre mhath beag, tòisichidh sinn a’ tighinn faisg air a’ bheachd a modail cànain mòr.
cleachdadh lìonraidhean neònach, faodaidh luchd-rannsachaidh LLMn a thrèanadh air tòrr dàta teacsa. Leis na tha de dhàta teacsa air fhaicinn, tha an LLM a’ fàs glè mhath air ro-innse an ath fhacal ann an sreath.
Bidh am modail a’ fàs cho sòlaimte, is urrainn dha tòrr ghnìomhan NLP a choileanadh. Tha na gnìomhan sin a’ toirt a-steach geàrr-chunntas air teacsa, cruthachadh susbaint ùr-nodha, agus eadhon atharrais air còmhradh coltach ri duine.
Mar eisimpleir, tha am modal cànain GPT-3 mòr-chòrdte air a thrèanadh le còrr air 175 billean paramadair agus thathas den bheachd gur e am modail cànain as adhartaiche gu ruige seo.
Tha e comasach dha còd obrach a ghineadh, artaigilean slàn a sgrìobhadh, agus faodaidh e sealladh a ghabhail air a bhith a’ freagairt cheistean mu chuspair sam bith.
Ciamar a tha LLMs air an Trèanadh?
Tha sinn air iomradh goirid a thoirt air gu bheil tòrr cumhachd aig LLMn a thaobh meud an dàta trèanaidh aca. Tha adhbhar ann gun can sinn modalan cànain “mòra” riutha às deidh a h-uile càil.
Ro-thrèanadh le Ailtireachd Transformer
Rè na h-ìre ro-thrèanaidh, thèid LLMn a thoirt a-steach don dàta teacsa a th’ ann mar-thà gus structar agus riaghailtean coitcheann cànain ionnsachadh.
Anns na beagan bhliadhnaichean a dh’ fhalbh, tha LLMn air a bhith air an trèanadh ro-làimh air stòran-dàta a tha a’ còmhdach cuid mhath den eadar-lìn poblach. Mar eisimpleir, chaidh modal cànain GPT-3 a thrèanadh air dàta bhon Crawl cumanta seata dàta, corpas de phuist lìn, duilleagan lìn, agus leabhraichean didseatach air an sgrìobadh bho chòrr air 50 millean raon.
Tha an dàta mòr an uairsin air a bhiathadh a-steach do mhodail ris an canar a Transformer. Tha cruth-atharrachaidh mar sheòrsa de lìonra neural domhainn a tha ag obair as fheàrr airson dàta sreathach.
Bidh transformers a 'cleachdadh a ailtireachd encoder-decoder airson làimhseachadh cuir a-steach agus toradh. Gu bunaiteach, tha dà lìonra neòil anns a’ chruth-atharrachaidh: encoder agus decoder. Faodaidh an encoder brìgh an teacsa cuir a-steach a tharraing a-mach agus a stòradh mar vectar. Bidh an decoder an uairsin a’ faighinn an vectar agus a’ toirt a-mach a mhìneachadh air an teacsa.
Ach, is e am prìomh bhun-bheachd a leig le ailtireachd cruth-atharrachaidh obrachadh cho math a uidheamachd fèin-aire. Thug bun-bheachd fèin-aire cothrom don mhodail aire a thoirt do na faclan as cudromaiche ann an seantans sònraichte. Bidh an uidheamachd eadhon a’ beachdachadh air na cuideaman eadar faclan a tha fada bho chèile ann an òrdugh.
Is e buannachd eile de fhèin-aire gum faod am pròiseas a bhith co-shìnte. An àite a bhith a’ giullachd dàta sreath ann an òrdugh, faodaidh modalan cruth-atharrachaidh a h-uile cuir a-steach a phròiseasadh aig an aon àm. Leigidh seo le cruth-atharraichean trèanadh air tòrr mòr dàta gu ìre mhath luath an taca ri dòighean eile.
Mion-ghleusadh
Às deidh na h-ìre ro-thrèanaidh, faodaidh tu taghadh teacsa ùr a thoirt a-steach airson an LLM bunaiteach airson trèanadh air. Canaidh sinn am pròiseas seo gleusadh grinn agus gu tric bidh e air a chleachdadh gus tuilleadh leasachaidh a dhèanamh air toradh an LLM air gnìomh sònraichte.
Mar eisimpleir, is dòcha gum bi thu airson LLM a chleachdadh gus susbaint a ghineadh airson do chunntas Twitter. Is urrainn dhuinn grunn eisimpleirean a thoirt don mhodail de na tweets a bh’ agad roimhe gus beachd a thoirt dha air an toradh a tha thu ag iarraidh.
Tha grunn sheòrsaichean de mhion-sgeadachadh ann.
Ionnsachadh beag-dhealbh a’ toirt iomradh air a’ phròiseas airson àireamh bheag de dh’eisimpleirean a thoirt do mhodail leis an dùil gun obraich am modail cànain a-mach mar a nì iad toradh coltach ris. Ionnsachadh aon-dhealbh pròiseas coltach ris ach a-mhàin aon eisimpleir air a thoirt seachad.
Cuingealachaidhean air Modalan Cànain Mòr
Tha LLMn leithid GPT-3 comasach air àireamh mhòr de chùisean cleachdaidh a choileanadh eadhon gun ghleusadh. Ach, tha na modailean sin fhathast a 'tighinn leis an t-seata de chuingealachaidhean aca fhèin.
Dìth Tuigse Semantic air an t-Saoghal
Aig an uachdar, tha coltas gu bheil LLMn a’ taisbeanadh fiosrachadh. Ach, chan eil na modailean sin ag obair san aon dòigh eanchainn daonna a' dèanamh. Tha LLMn an urra ri àireamhachadh staitistigeil a-mhàin gus toradh a ghineadh. Chan eil an comas aca beachdan agus bun-bheachdan a reusanachadh leotha fhèin.
Air sgàth seo, faodaidh LLM freagairtean neo-mhothachail a chuir a-mach dìreach leis gu bheil na faclan a’ coimhead “ceart” no “coltach gu staitistigeil” nuair a thèid an cur san òrdugh shònraichte sin.
Naidheachdan
Bidh modalan mar GPT-3 cuideachd a’ fulang le freagairtean mearachdach. Faodaidh LLMn fulang le iongantas ris an canar hallucinations far a bheil modailean a’ toirt a-mach freagairt a tha ceàrr gu fìrinneach gun mhothachadh sam bith nach eil bunait sam bith aig an fhreagairt ann an da-rìribh.
Mar eisimpleir, is dòcha gun iarr neach-cleachdaidh air a’ mhodail beachdan Steve Jobs a mhìneachadh air an iPhone as ùire. Faodaidh am modail cuòt a ghineadh bho èadhar tana stèidhichte air an dàta trèanaidh aige.
Claonadh agus Eòlas Earranta
Coltach ri mòran algorithms eile, tha modalan cànain mòra buailteach a bhith a 'sealbhachadh nan claon-bhreith a tha an làthair anns an dàta trèanaidh. Mar a thòisicheas sinn a’ cur barrachd earbsa ann an LLMn airson fiosrachadh fhaighinn air ais, bu chòir do luchd-leasachaidh nam modalan sin dòighean a lorg gus na buaidhean cronail a dh’ fhaodadh a bhith aig freagairtean claon a lughdachadh.
Ann an comas coltach ris, cuiridh spotan dall dàta trèanaidh a 'mhodail bacadh air a' mhodail fhèin cuideachd. An-dràsta, bheir modalan cànain mòra mìosan airson trèanadh. Tha na modailean sin cuideachd an urra ri stòran-dàta a tha cuibhrichte ann an raon. Sin as coireach nach eil ach beagan eòlais aig ChatGPT air tachartasan a thachair ann an 2021.
Co-dhùnadh
Tha comas aig modalan cànain mòra atharrachadh gu fìrinneach air mar a bhios sinn ag eadar-obrachadh le teicneòlas agus ar saoghal san fharsaingeachd.
Tha an uiread de dhàta a tha ri fhaotainn air an eadar-lìon air dòigh a thoirt do luchd-rannsachaidh gus iom-fhillteachd cànain a dhealbhadh. Ach, air an t-slighe, tha e coltach gu bheil na modailean cànain sin air togail air tuigse daonna air an t-saoghal mar a tha e.
Mar a bhios am poball a’ tòiseachadh a’ cur earbsa anns na modalan cànain sin gus toradh ceart a thoirt seachad, tha luchd-rannsachaidh agus luchd-leasachaidh mu thràth a’ lorg dhòighean air rèilichean dìon a chuir ris gus am bi an teicneòlas fhathast beusach.
Dè do bheachd a bhios aig LLMn san àm ri teachd?
Leave a Reply