Tha lìonraidhean mòra neural a tha air an trèanadh airson aithne agus ginealach cànain air toraidhean air leth a nochdadh ann an grunn ghnìomhan anns na bliadhnachan mu dheireadh. Dhearbh GPT-3 gum faodadh modalan cànain mòra (LLMn) a bhith air an cleachdadh airson ionnsachadh le glè bheag de dhealbhan agus builean sàr-mhath fhaighinn gun a bhith feumach air dàta farsaing a thaobh gnìomh no atharrachadh paramadairean modail.
Tha Google, an Silicon Valley tech behemoth, air PaLM, no Pathways Language Model, a thoirt a-steach don ghnìomhachas teignigeach air feadh na cruinne mar mhodail cànain AI an ath ghinealach. Tha Google air feart ùr a chuir a-steach Artificial Intelligence ailtireachd a-steach do PaLM le amasan ro-innleachdail gus càileachd a’ mhodail cànain AI a leasachadh.
Anns an dreuchd seo, nì sinn sgrùdadh mionaideach air an algairim Palm, a ’toirt a-steach na paramadairean a thathas a’ cleachdadh airson a thrèanadh, a ’chùis a dh’ fhuasglas e, agus mòran a bharrachd.
Na th’ann Algorithm PaLM Ghoogle?
'S e Modail Cànain Pathways dè PALM a' seasamh airson. Is e seo algairim ùr a chaidh a leasachadh le Google gus ailtireachd Pathways AI a neartachadh. Is e prìomh amas an structair millean gnìomh sònraichte a dhèanamh aig an aon àm.
Tha iad sin a’ toirt a-steach a h-uile càil bho bhith a’ mìneachadh dàta iom-fhillte gu reusanachadh neo-thorrach. Tha comas aig PaLM a dhol thairis air an ìre as ùire de AI a bharrachd air daoine ann an gnìomhan cànain agus reusanachaidh.
Tha seo a’ toirt a-steach Few-Shot Learning, a tha ag atharrais air mar a bhios daoine ag ionnsachadh rudan ùra agus a’ cothlamadh diofar phìosan eòlais gus dèiligeadh ri dùbhlain ùra nach fhacas a-riamh roimhe, le buannachd inneal as urrainn an eòlas gu lèir a chleachdadh gus dùbhlain ùra fhuasgladh; Is e aon eisimpleir den sgil seo ann am PaLM an comas aige fealla-dhà a mhìneachadh nach cuala i a-riamh roimhe.
Sheall PaLM mòran sgilean adhartach air grunn ghnìomhan dùbhlanach, a’ gabhail a-steach tuigse agus cruthachadh cànain, gnìomhan ioma-cheum co-cheangailte ri còd, reusanachadh ciall cumanta, eadar-theangachadh, agus mòran a bharrachd.
Tha e air sealltainn gu bheil e comasach air cùisean iom-fhillte fhuasgladh a’ cleachdadh seataichean NLP ioma-chànanach. Faodar PaLM a chleachdadh leis a’ mhargaidh teignigeach air feadh na cruinne gus adhbhar agus buaidh eadar-dhealaichte, cothlamadh bun-bheachdail, geamannan sònraichte, agus mòran de rudan eile.
Faodaidh e cuideachd mìneachaidhean domhainn a ghineadh airson mòran cho-theacsan a’ cleachdadh co-dhùnadh loidsigeach ioma-cheum, cànan domhainn, eòlas cruinneil, agus dòighean eile.
Ciamar a leasaich Google an algairim PaLM?
Airson coileanadh adhartach Google ann am PaLM, thathas an dùil gum bi slighean suas ri 540 billean paramadair. Tha e air aithneachadh mar an aon mhodail as urrainn coitcheannachadh gu h-èifeachdach agus gu h-èifeachdach thar iomadh raon. Tha Pathways aig Google gu sònraichte airson coimpiutaireachd sgaoilte a leasachadh airson luathadairean.
Tha PaLM na mhodail cruth-atharrachaidh decoder a-mhàin a chaidh a thrèanadh a’ cleachdadh an t-siostam Pathways. Tha PaLM air coileanadh beag-dhealbhan ùr-nodha a choileanadh thar grunn eallach obrach, a rèir Google. Tha PaLM air an siostam Pathways a chleachdadh gus trèanadh a leudachadh chun rèiteachadh siostam as motha a tha stèidhichte air TPU, ris an canar 6144 chips airson a’ chiad uair.
Tha stòr-dàta trèanaidh airson a’ mhodail cànain AI air a dhèanamh suas de mheasgachadh de dhàta Beurla agus dàta ioma-chànanach eile. Le briathrachas “gun chall”, tha susbaint lìn àrd-inbhe ann, còmhraidhean, leabhraichean, còd GitHub, Wikipedia, agus mòran a bharrachd. Thathas ag aithneachadh briathrachas gun chall airson àite geal a chumail agus caractaran Unicode nach eil sa bhriathrachas a bhriseadh gu bytes.
Chaidh PaLM a leasachadh le Google agus Pathways a’ cleachdadh ailtireachd modail cruth-atharrachaidh àbhaisteach agus rèiteachadh decoder a bha a’ toirt a-steach SwiGLU Activation, sreathan co-shìnte, in-ghabhail RoPE, in-ghabhail cuir a-steach-toradh co-roinnte, aire ioma-cheist, agus gun chlaonadh no briathrachas. Tha PaLM, air an làimh eile, deiseil gus bunait làidir a thoirt do mhodal cànain AI Google agus Pathways.
Paramadairean a chleachdar airson trèanadh PaLM
An-uiridh, chuir Google air bhog Pathways, aon mhodail a dh’ fhaodar a thrèanadh gus mìltean, mura milleanan, de rudan a dhèanamh - ris an canar “ailtireachd AI an ath ghinealach” leis gun urrainn dha faighinn thairis air crìochan mhodalan a th’ ann mu thràth a bhith air an trèanadh gus dìreach aon rud a dhèanamh. . An àite a bhith a’ leudachadh comasan mhodalan gnàthach, bidh modalan ùra gu tric air an togail bhon bhonn gu h-àrd gus aon obair a choileanadh.
Mar thoradh air an sin, tha iad air deichean de mhìltean de mhodalan a chruthachadh airson deichean de mhìltean de ghnìomhachd eadar-dhealaichte. Is e obair a tha seo a tha a’ caitheamh ùine agus a tha dian air goireasan.
Dhearbh Google tro Pathways gum b’ urrainn do mhodail singilte measgachadh de ghnìomhachdan a làimhseachadh agus tarraing air agus cothlamadh tàlantan gnàthach gus gnìomhan ùra ionnsachadh nas luaithe agus nas èifeachdaiche.
Dh’ fhaodadh modalan ioma-mhodhail a tha a’ toirt a-steach lèirsinn, tuigse chànanach, agus giullachd claisneachd uile aig an aon àm a bhith air an comasachadh tro shlighean. Tha Modail Cànain Pathways (PaLM) a’ ceadachadh trèanadh aon mhodail thairis air grunn TPU v4 Pods le taing don mhodal paramadair 540 billean aige.
Tha PaLM, modal dùmhail Transformer decoder-a-mhàin, a’ dèanamh nas fheàrr na coileanadh ùr-nodha thar raon farsaing de dh’ eallach obrach. Tha PaLM ga thrèanadh air dà phòcaid TPU v4 a tha ceangailte tro lìonra ionad dàta (DCN).
Bidh e a’ gabhail brath air an dà chuid co-shìnteachd modail agus dàta. Bha an luchd-rannsachaidh a ’fastadh pròiseasairean 3072 TPU v4 anns gach Pod airson PaLM, a bha ceangailte ri 768 neach-aoigheachd. A rèir an luchd-rannsachaidh, is e seo an rèiteachadh TPU as motha a chaidh fhoillseachadh fhathast, a ’toirt cothrom dhaibh trèanadh a sgèileadh gun a bhith a’ cleachdadh co-shìnteachd loidhne-phìoban.
Is e lìnigeadh pìoba am pròiseas a bhith a’ cruinneachadh stiùireadh bhon CPU tro loidhne-phìoban san fharsaingeachd. Tha na sreathan den mhodail air an roinn ann an ìrean a dh'fhaodar a phròiseasadh ann an co-shìnte tro cho-shìnteachd modail loidhne-phìoban (no co-shìnteachd loidhne-phìoban).
Thèid a’ chuimhne gnìomhachaidh a chuir chun ath cheum nuair a chuireas aon ìre crìoch air a’ bhealaich air adhart airson meanbh-baidse. Thèid na caiseadan an uairsin a chuir air ais nuair a chuireas an ath ìre crìoch air an gluasad air ais.
Comasan Briseadh PaLM
Tha PaLM a’ taisbeanadh comasan ùr-nodha ann an raon de ghnìomhan duilich. Seo grunn eisimpleirean:
1. Cruthachadh agus tuigse cànain
Chaidh PaLM a chur gu deuchainn air 29 diofar ghnìomhan NLP ann am Beurla.
Air bunait beagan dhealbhan, rinn PaLM 540B nas fheàrr na modalan mòra roimhe leithid GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, agus LaMDA air gnìomhan 28 de 29, a’ toirt a-steach gnìomhan freagairt ceist eadar-dhealaichte leabhar dùinte. , gnìomhan cloze agus crìochnachaidh seantansan, gnìomhan ann an stoidhle Winograd, gnìomhan tuigse leughaidh sa cho-theacsa, gnìomhan reusanachaidh ciall cumanta, gnìomhan SuperGLUE, agus co-dhùnadh nàdarra.
Air grunn ghnìomhan being BIG, tha PaLM a’ nochdadh sàr sgilean eadar-mhìneachaidh cànain nàdarra agus ginealach. Mar eisimpleir, faodaidh am modail eadar-dhealachadh a dhèanamh eadar adhbhar agus buaidh, tuigse fhaighinn air cothlamadh bun-bheachdail ann an suidheachaidhean sònraichte, agus eadhon tomhas a dhèanamh air an fhilm bho emoji. Eadhon ged nach eil ach 22% den chorpas trèanaidh neo-Bheurla, tha PaLM a’ coileanadh gu math air slatan-tomhais NLP ioma-chànanach, a’ gabhail a-steach eadar-theangachadh, a bharrachd air gnìomhan Beurla NLP.
2. Adhbhar
Bidh PaLM a’ measgachadh meud modail le brosnachadh slabhraidh smaoineachaidh gus sgilean adhartach a nochdadh air dùbhlain reusanachaidh a dh’ fheumas àireamhachd ioma-cheum no reusanachadh ciall cumanta.
Cha d’ fhuair LLMn roimhe, leithid Gopher, buannachd nas lugha bho mheud a’ mhodail a thaobh coileanadh àrdachadh. Shoirbhich gu math leis an PaLM 540B le brosnachadh slabhraidh smaoineachaidh air trì seataichean dàta àireamhachd agus dà sheòrsa smaoineachaidh ciallach.
Tha PaLM a’ coileanadh nas fheàrr na an sgòr as fheàrr roimhe de 55%, a chaidh fhaighinn le bhith a’ gleusadh a’ mhodail GPT-3 175B le seata trèanaidh de dhuilgheadasan 7500 agus ga chur còmhla le àireamhair agus dearbhadair bhon taobh a-muigh gus fuasgladh fhaighinn air 58 sa cheud de na cùisean ann an GSM8K, a slat-tomhais de mhìltean de cheistean matamataigeach ìre sgoile duilich a’ cleachdadh brosnachadh 8-shot.
Tha an sgòr ùr seo gu sònraichte sònraichte leis gu bheil e a’ dlùthachadh ris a’ chuibheasachd de 60% de chnapan-starra air am bi clann aois 9-12. Faodaidh e cuideachd freagairt a thoirt do fhealla-dhà tùsail nach eil rim faighinn air an eadar-lìn.
3. Gineadh Còd
Thathas cuideachd air sealltainn gu bheil LLMn a’ coileanadh gu math ann an gnìomhan còdaidh, a’ gabhail a-steach a bhith a’ gineadh còd bho thuairisgeul cànain nàdarra (teacsa-gu-còd), ag eadar-theangachadh còd eadar cànanan, agus a’ fuasgladh mhearachdan cruinneachaidh. A dh’ aindeoin dìreach 5% de chòd anns an t-seata ro-thrèanadh, tha PaLM 540B a’ coileanadh gu math air gach cuid còdadh agus gnìomhan cànain nàdarra ann an aon mhodail.
Tha an coileanadh beagan dhealbhan aige iongantach, leis gu bheil e a’ maidseadh Codex 12B grinn fhad ‘s a tha e a’ trèanadh le 50 uair nas lugha de chòd Python. Tha an co-dhùnadh seo a’ dol air ais le co-dhùnaidhean roimhe seo gum faod modalan nas motha a bhith nas èifeachdaiche a thaobh sampaill na modalan nas lugha oir is urrainn dhaibh ionnsachadh bho ioma a ghluasad nas èifeachdaiche cànanan prògramaidh agus dàta cànan sìmplidh.
Co-dhùnadh
Tha PaLM a’ sealltainn comas an t-siostam Pathways a bhith a’ sgèile gu mìltean de phròiseasan luathachaidh thairis air dà TPU v4 Pods le bhith a’ trèanadh gu h-èifeachdach modal paramadair 540-billean le reasabaidh air a dheagh sgrùdadh agus air a dheagh stèidheachadh de mhodail dùmhail Transformer decoder-a-mhàin.
Bidh e a’ coileanadh coileanadh le glè bheag de dhealbhan thar raon de dhùbhlain giollachd cànain nàdarra, reusanachadh, agus còdadh le bhith a’ putadh crìochan sgèile modail.
Leave a Reply