Fadhb clasaiceach in hintleachta saorga is ea an tóir ar mheaisín atá in ann teanga dhaonna a thuiscint.
Mar shampla, agus “bialanna Iodálacha in aice láimhe” á gcuardach ar an inneall cuardaigh is fearr leat, caithfidh algartam anailís a dhéanamh ar gach focal i do cheist agus na torthaí ábhartha a aschur. Beidh ar aip réasúnta aistriúcháin comhthéacs focal áirithe sa Bhéarla a thuiscint agus cuntas a thabhairt ar bhealach éigin ar na difríochtaí gramadaí idir teangacha.
Tagann na tascanna seo go léir agus i bhfad níos mó faoi fho-réimse na heolaíochta ríomhaireachta ar a dtugtar Próiseáil Teanga Nádúrtha nó NLP. Mar thoradh ar dhul chun cinn i NLP tá raon leathan d’fheidhmchláir phraiticiúla ó chúntóirí fíorúla ar nós Alexa Amazon go scagairí turscair a aimsíonn ríomhphost mailíseach.
Is é an dul chun cinn is déanaí i NLP an smaoineamh a múnla mór teanga nó LLM. Tá LLManna cosúil le GPT-3 tar éis éirí chomh cumhachtach sin gur cosúil go n-éireoidh leo i mbeagnach aon tasc nó cás úsáide NLP.
San Airteagal seo, féachfaimid ar cad go díreach atá i LLManna, conas a dhéantar na samhlacha seo a oiliúint, agus na teorainneacha atá acu faoi láthair.
Cad is múnla mór teanga ann?
Ag croílár na samhla teanga, níl ann ach algartam a bhfuil a fhios aige cé chomh dóchúil is atá seicheamh focal mar abairt bhailí.
Ba chóir go mbeadh samhail teanga an-simplí oilte ar chúpla céad leabhar in ann a rá go bhfuil “Chuaigh sé abhaile” níos bailí ná “Abhaile chuaigh sé”.
Má chuirimid tacar sonraí ollmhór in ionad an tacar sonraí réasúnta beag a scríobadh ón idirlíon, tosaímid ar an smaoineamh a múnla mór teanga.
Ag baint úsáide as líonraí neural, is féidir le taighdeoirí LLManna a oiliúint ar líon mór sonraí téacs. Mar gheall ar an méid sonraí téacs atá feicthe ag an tsamhail, éiríonn an LLM an-mhaith ag tuar an chéad fhocail eile i seicheamh.
Éiríonn an tsamhail chomh sofaisticiúla, is féidir leis a lán tascanna NLP a dhéanamh. Áirítear ar na tascanna seo achoimre a dhéanamh ar théacs, ábhar núíosach a chruthú, agus fiú comhrá ar nós an duine a insamhladh.
Mar shampla, tá an tsamhail teanga GPT-3 ar a bhfuil an-tóir air a oiliúint le breis agus 175 billiún paraiméadair agus meastar gurb í an tsamhail teanga is forbartha go dtí seo.
Tá sé in ann cód oibre a ghiniúint, ailt iomlána a scríobh, agus féadann sé radharc a ghlacadh ar cheisteanna a fhreagairt faoi ábhar ar bith.
Conas a chuirtear oiliúint ar LLManna?
Chuireamar in iúl go hachomair go bhfuil go leor cumhachta ag LLManna mar gheall ar mhéid a gcuid sonraí oiliúna. Tá cúis ann go dtugaimid múnlaí teanga “mór” orthu tar éis an tsaoil.
Réamh-oiliúint le hAiltireacht Trasfhoirmeora
Le linn na réamh-oiliúna, tugtar LLManna isteach ar shonraí téacs atá ann cheana chun struchtúr agus rialacha ginearálta teanga a fhoghlaim.
Le blianta beaga anuas, tá réamhoiliúint déanta ar LLManna ar thacair sonraí a chlúdaíonn cuid shuntasach den idirlíon poiblí. Mar shampla, cuireadh oiliúint ar mhúnla teanga GPT-3 ar shonraí ó na Crawl Coiteann tacar sonraí, corpas de phoist ghréasáin, leathanaigh ghréasáin, agus leabhair dhigitithe a scríobadh ó bhreis is 50 milliún fearann.
Cuirtear an tacar sonraí ollmhór sin isteach i múnla ar a dtugtar a claochladán. Is cineál iad claochladáin líonra neural domhain is fearr a oibríonn le haghaidh sonraí seicheamhach.
Úsáideann claochladáin an ailtireacht ionchódóra-díchódóra chun ionchur agus aschur a láimhseáil. Go bunúsach, tá dhá líonra néaracha sa chlaochladán: ionchódóir agus díchódóir. Is féidir leis an ionchódóir brí an téacs ionchuir a bhaint as agus é a stóráil mar veicteoir. Faigheann an díchódóir an veicteoir ansin agus déanann sé a léirmhíniú ar an téacs.
Mar sin féin, is é an príomhchoincheap a cheadaigh ailtireacht an chlaochladáin oibriú chomh maith sin ná a meicníocht féin-aird. Thug coincheap an fhéinaird deis don mhúnla aird a thabhairt ar na focail is tábhachtaí in abairt ar leith. Measann an mheicníocht fiú na meáchain idir focail atá i bhfad óna chéile go seicheamhach.
Buntáiste eile a bhaineann le féin-aird ná gur féidir an próiseas a chomhthreomharú. In ionad sonraí seicheamhacha a phróiseáil in ord, is féidir le samhlacha claochladáin gach ionchur a phróiseáil ag an am céanna. Ligeann sé seo do chlaochladáin oiliúint a chur ar mhéideanna ollmhóra sonraí go réasúnta tapa i gcomparáid le modhanna eile.
Tiúnadh mín
Tar éis na céime réamhoiliúna, is féidir leat an rogha a dhéanamh téacs nua a thabhairt isteach chun oiliúint a chur ar an mbunáit LLM. Glaoimid ar an bpróiseas seo mionchoigeartú agus is minic a úsáidtear é chun aschur an LLM ar thasc ar leith a fheabhsú tuilleadh.
Mar shampla, b’fhéidir gur mhaith leat LLM a úsáid chun ábhar a ghiniúint do do chuntas Twitter. Is féidir linn roinnt samplaí de na tvuíteanna a rinne tú roimhe seo a sholáthar don mhúnla chun tuairim a thabhairt dó faoin aschur atá ag teastáil.
Tá roinnt cineálacha éagsúla mionchoigeartaithe ann.
Foghlaim mórán lámhaigh a thagraíonn don phróiseas a bhaineann le múnla a thabhairt do líon beag samplaí agus é ag súil go n-oibreoidh an tsamhail teanga amach conas aschur comhchosúil a dhéanamh. Foghlaim aon-shot is próiseas comhchosúil é ach ní thugtar ach sampla amháin.
Teorainneacha ar Mhúnlaí Móra Teanga
Tá LLManna ar nós GPT-3 in ann líon mór cásanna úsáide a dhéanamh fiú gan mionchoigeartú. Mar sin féin, tagann na samhlacha seo fós lena sraith teorainneacha féin.
Easpa Tuiscint Shéimeantach ar an Domhan
Ar an dromchla, is cosúil go léiríonn LLManna faisnéis. Mar sin féin, ní oibríonn na samhlacha seo ar an mbealach céanna inchinn an duine dhéanann. Braitheann LLManna ar ríomhanna staidrimh amháin chun aschur a ghiniúint. Níl an cumas acu smaointe agus coincheapa a réasúnú as a stuaim féin.
Mar gheall air seo, is féidir le LLM freagraí neamhíogair a aschur go simplí toisc go ndealraíonn sé go bhfuil na focail “ceart” nó “dóchúil go staitistiúil” nuair a chuirtear san ord áirithe sin iad.
Meabhráin
Tá múnlaí cosúil le GPT-3 thíos le freagraí míchruinne freisin. Is féidir le LLManna fulaingt ó fheiniméan ar a dtugtar siabhránachtaí sa chás go n-eisíonn samhlacha freagra atá mícheart go fíorasach gan a bheith ar an eolas nach bhfuil aon bhunús leis an bhfreagra i ndáiríre.
Mar shampla, féadfaidh úsáideoir iarraidh ar an tsamhail smaointe Steve Jobs a mhíniú ar an iPhone is déanaí. Féadfaidh an tsamhail luachan a ghiniúint ó aer tanaí bunaithe ar a shonraí oiliúna.
Claontacht agus Eolas Teoranta
Cosúil le go leor algartam eile, tá seans ann go bhfaighidh samhlacha móra teanga na laofachtaí atá sna sonraí oiliúna mar oidhreacht. De réir mar a thosaímid ag brath níos mó ar LLManna chun faisnéis a aisghabháil, ba cheart d'fhorbróirí na múnlaí seo bealaí a aimsiú chun éifeachtaí díobhálacha féideartha freagraí claonta a mhaolú.
I gcáil chomhchosúil, cuirfidh spotaí dallóga sonraí oiliúna an mhúnla bac ar an múnla féin freisin. Faoi láthair, tógann sé míonna le hoiliúint a chur ar mhúnlaí móra teanga. Braitheann na samhlacha seo freisin ar thacair sonraí atá teoranta ó thaobh raon feidhme de. Sin an fáth nach bhfuil ach eolas teoranta ag ChatGPT ar imeachtaí a tharla in 2021.
Conclúid
Tá an cumas ag múnlaí móra teanga an chaoi a n-idirghníomhaíonn muid leis an teicneolaíocht agus lenár saol i gcoitinne a athrú go fírinneach.
Thug an t-uafás sonraí atá ar fáil ar an idirlíon bealach do thaighdeoirí chun castachtaí teanga a shamhaltú. Ar an mbealach, áfach, is cosúil go bhfuil na múnlaí teanga seo tar éis tuiscint a fháil ar an domhan mar atá an duine.
Agus an pobal ag tosú ar iontaoibh na múnlaí teanga seo chun aschur cruinn a sholáthar, tá taighdeoirí agus forbróirí ag aimsiú bealaí cheana féin chun ráillí cosanta a chur leis ionas go mbeidh an teicneolaíocht eiticiúil i gcónaí.
Cad é todhchaí LLManna, dar leat?
Leave a Reply