Ny tamba-jotra neural lehibe izay niofana ho amin'ny fanekena ny fiteny sy ny taranaka dia naneho vokatra miavaka tamin'ny asa isan-karazany tato anatin'ny taona vitsivitsy. Ny GPT-3 dia nanaporofo fa ny maodely amin'ny fiteny lehibe (LLM) dia azo ampiasaina amin'ny fianarana tifitra vitsivitsy ary hahazoana vokatra tsara tsy mila angon-drakitra manokana momba ny asa na manova ny mari-pamantarana modely.
Google, ilay behemoth teknolojia Silicon Valley, dia nampiditra ny PaLM, na Pathways Language Model, ho an'ny indostrian'ny teknolojia manerantany ho modely amin'ny teny AI amin'ny taranaka manaraka. Google dia nampiditra vaovao fahaizana artifisialy Architecture ao amin'ny PaLM miaraka amin'ny tanjona stratejika hanatsarana ny kalitaon'ny modely amin'ny fiteny AI.
Amin'ity lahatsoratra ity dia handinika amin'ny antsipiriany ny algorithm Palm isika, ao anatin'izany ny masontsivana ampiasaina hanofanana azy, ny olana voavahany, ary ny maro hafa.
Inona ny Google's PaLM algorithm?
Pathways Language Model dia inona PALM midika. Algorithm vaovao novolavolain'i Google ity mba hanamafisana ny maritrano Pathways AI. Ny tanjon'ny rafitra dia ny hanao hetsika miavaka an-tapitrisany indray mandeha.
Anisan'izany ny zava-drehetra manomboka amin'ny famaritana angon-drakitra sarotra ka hatramin'ny fanjohian-kevitra deductive. Ny PaLM dia manana fahaiza-manao mihoatra noho ny AI amin'izao fotoana izao ary koa ny olombelona amin'ny fiteny sy ny asa fisainana.
Tafiditra ao anatin'izany ny Few-Shot Learning, izay maka tahaka ny fomba ianaran'ny olombelona zava-baovao sy fampifangaroana ireo karazana fahalalana samihafa mba hiatrehana ireo fanamby vaovao izay mbola tsy hita hatrizay, miaraka amin'ny tombotsoan'ny milina iray afaka mampiasa ny fahalalany rehetra hamahana olana vaovao; ohatra iray amin'io fahaiza-manao ao amin'ny PaLM io ny fahaizany manazava vazivazy tsy mbola reny hatrizay.
Ny PaLM dia naneho fahaiza-manao fandrosoana maro amin'ny asa sarotra isan-karazany, ao anatin'izany ny fahatakarana ny fiteny sy ny famoronana, ny hetsika mifandraika amin'ny kaody aritmetika maromaro, ny fanjohian-kevitra mahazatra, ny fandikan-teny, ary ny maro hafa.
Naneho ny fahaizany mamaha olana sarotra amin'ny fampiasana andiana NLP amin'ny fiteny maro. Ny PaLM dia azo ampiasaina amin'ny tsenan'ny teknolojia manerantany hanavahana ny antony sy ny vokany, ny fampifangaroana hevitra, ny lalao miavaka, ary ny zavatra maro hafa.
Afaka mamorona fanazavana lalina momba ny toe-javatra maro ihany koa izy io amin'ny fampiasana famintinana lojika marobe, fiteny lalina, fahalalana manerantany, ary teknika hafa.
Ahoana no namolavolan'i Google ny algorithm PaLM?
Ho an'ny fahombiazan'ny Google ao amin'ny PaLM, ny lalana dia voalahatra hahatratra 540 lavitrisa isa. Ekena ho toy ny modely tokana afaka manaparitaka amin'ny fomba mahomby sy mahomby amin'ny sehatra maro. Ny Pathways ao amin'ny Google dia natokana hamolavola informatika zaraina ho an'ny accelerators.
PaLM dia maodely transformer decoder irery izay efa nampiofanina tamin'ny alàlan'ny rafitra Pathways. Nahitam-pahombiazana ny PaLM tamin'ny asa vita amin'ny asa maromaro, araka ny filazan'i Google. Nampiasa ny rafitra Pathways ny PaLM mba hanitarana ny fiofanana amin'ny rafi-pandaminana miorina amin'ny TPU lehibe indrindra, fantatra amin'ny anarana hoe 6144 chips voalohany.
Ny angon-drakitra fanofanana ho an'ny maodely amin'ny teny AI dia voaforon'ny fifangaroan'ny angon-drakitra amin'ny teny anglisy sy amin'ny fiteny maro hafa. Miaraka amin'ny voambolana “tsy fatiantoka”, misy votoaty tranonkala avo lenta, fifanakalozan-kevitra, boky, kaody GitHub, Wikipedia, sy ny maro hafa. Ny voambolana tsy misy fatiantoka dia fantatra amin'ny fitazonana ny habaka fotsy sy ny famadihana ireo tarehin-tsoratra Unicode izay tsy ao amin'ny voambolana ho bytes.
Ny PaLM dia novolavolain'ny Google sy ny Pathways amin'ny fampiasana maritrano maodely mpanova manara-penitra sy fanefena decoder izay ahitana ny SwiGLU Activation, sosona mifanitsy, embeddings RoPE, embeddings input-output ifampizarana, fifantohana amin'ny fanontaniana maro, ary tsy misy fitongilanana na voambolana. PaLM kosa dia vonona hanome fototra mafy orina ho an'ny maodely amin'ny teny AI Google sy ny Pathways.
Parameter ampiasaina hanofanana ny PaLM
Tamin'ny taon-dasa, Google dia namoaka Pathways, modely tokana azo ampiofanina hanao zavatra an'arivony, raha tsy an-tapitrisa — nomena anarana hoe "architecture AI amin'ny taranaka manaraka" satria afaka mandresy ny fetran'ny modely efa misy amin'ny fampiofanana azy hanao zavatra iray ihany. . Raha tokony hanitatra ny fahaiza-manaon'ny maodely amin'izao fotoana izao, dia matetika no aorina avy any ambany ka hatrany ambany ny modely vaovao mba hanatanterahana asa tokana.
Vokatr'izany dia namorona modely an'aliny ho an'ny hetsika samihafa an'aliny izy ireo. Izany dia asa mandany fotoana sy loharanon-karena.
Noporofoin'i Google tamin'ny alalan'ny Pathways fa ny maodely tokana dia afaka mitantana hetsika isan-karazany ary misarika sy manambatra ireo talenta ankehitriny mba hianatra asa vaovao haingana sy mahomby kokoa.
Ny maodely multimodal izay ahitana fahitana, fahatakarana ny fiteny, ary ny fanodinana ny fandrenesana dia azo atao amin'ny alàlan'ny lalana. Ny Pathways Language Model (PaLM) dia mamela ny fanofanana modely tokana amin'ny TPU v4 Pods maro noho ny maodely parametriny 540 lavitrisa.
PaLM, maodely Transformer decoder-fotsy ihany, dia manasongadina ny zava-bitan'ny tifitra vitsivitsy amin'ny asa isan-karazany. Ny PaLM dia ampiofanina amin'ny TPU v4 Pods roa izay mifamatotra amin'ny tamba-jotra foibe data (DCN).
Manararaotra ny modely sy ny parallèle data. Ny mpikaroka dia nampiasa processeur 3072 TPU v4 isaky ny Pod ho an'ny PaLM, izay mifandray amin'ny mpampiantrano 768. Araka ny filazan'ny mpikaroka, ity no rindrankajy TPU lehibe indrindra mbola nambara, ahafahan'izy ireo manangana fiofanana nefa tsy mampiasa parallèle pipeline.
Ny fametahana fantsona dia ny dingan'ny fanangonana torolàlana avy amin'ny CPU amin'ny alàlan'ny fantsona amin'ny ankapobeny. Ny soson'ny maodely dia mizara ho dingana izay azo karakaraina mifanandrify amin'ny alàlan'ny parallèle modelin'ny pipeline (na parallelism pipeline).
Ny fahatsiarovana fampahavitrihana dia alefa any amin'ny dingana manaraka rehefa vita ny dingana iray amin'ny dingana mandroso ho an'ny micro-batch. Avy eo dia alefa any aoriana ny gradients rehefa tapitra ny fampielezana azy aoriana ny dingana manaraka.
PaLM Breakthrough Capabilities
Ny PaLM dia mampiseho fahaiza-manao mivoatra amin'ny asa sarotra. Ireto misy ohatra maromaro:
1. Famoronana sy fahatakarana ny fiteny
Nosedraina tamin'ny asa NLP 29 samihafa amin'ny teny anglisy ny PaLM.
Amin'ny fototra vitsivitsy, ny PaLM 540B dia nihoatra ny maodely lehibe teo aloha toa ny GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, ary LaMDA amin'ny asa 28 amin'ny 29, anisan'izany ny asa famaliana fanontaniana variana misokatra amin'ny sehatra misokatra. , asa cloze sy famenoana fehezanteny, asa amin'ny fomba Winograd, asa famakian-teny ao anatin'ny toe-javatra, asa fanjohian-kevitra mahazatra, asa SuperGLUE, ary fanatsoahan-kevitra voajanahary.
Amin'ny asa BIG-dabilio maromaro, ny PaLM dia mampiseho ny fandikana ny fiteny voajanahary sy ny fahaiza-manao taranaka. Ohatra, ny maodely dia afaka manavaka ny antony sy ny vokany, mahatakatra ny fitambaran'ny hevitra amin'ny toe-javatra sasany, ary na dia maminavina ny sarimihetsika avy amin'ny emoji. Na dia tsy teny anglisy aza ny 22% amin'ny corpus fanofanana, ny PaLM dia mahavita tsara amin'ny mari-pamantarana NLP amin'ny fiteny maro, anisan'izany ny fandikana, ankoatra ny asa NLP anglisy.
2. Fandresen-dahatra
Ny PaLM dia mampifangaro ny haben'ny maodely miaraka amin'ny tosika an-tsaina mba hanehoana fahaiza-manao mahomby amin'ny fanamby amin'ny fanjohian-kevitra izay mitaky fanjohian-kevitra maromaro na saina mahazatra.
Ny LLM teo aloha, toa an'i Gopher, dia nahazo tombony kely kokoa tamin'ny haben'ny modely amin'ny lafiny fanatsarana ny fampisehoana. Ny PaLM 540B miaraka amin'ny famporisihana rojom-piheverana dia nahomby tsara tamin'ny angon-drakitra fisainan'ny kajy telo sy roa.
Ny PaLM dia mihoatra ny isa tsara indrindra teo aloha 55%, izay azo tamin'ny fanitsiana tsara ny maodely GPT-3 175B miaraka amin'ny seha-piofanana misy olana 7500 ary manambatra izany amin'ny kajy ivelany sy mpanamarina hamahana ny 58 isan-jaton'ny olana ao amin'ny GSM8K, a mari-pamantarana amin'ny fanontaniana matematika an'arivony amin'ny ambaratonga an-tsekoly amin'ny fampiasana bitsika 8.
Ity isa vaovao ity dia misongadina manokana satria manakaiky ny salan'isa 60% amin'ny sakana iainan'ny ankizy 9-12 taona. Afaka mamaly vazivazy tany am-boalohany izay tsy hita amin'ny Internet ihany koa izy.
3. Famoronana fehezan-dalàna
Nasehon'ny LLM koa fa mahavita tsara amin'ny asa fanaovana kaody, ao anatin'izany ny famoronana kaody avy amin'ny famaritana fiteny voajanahary (text-to-code), fandikana kaody eo amin'ny samy fiteny, ary famahana ny lesoka amin'ny fanangonana. Na dia tsy manana kaody 5% fotsiny aza ao amin'ny angon-drakitra mialoha ny fiofanana, ny PaLM 540B dia mahavita tsara amin'ny asa fanodinana sy fiteny voajanahary amin'ny maodely tokana.
Tsy mampino ny zava-bitany vitsivitsy, satria mifanandrify amin'ny Codex 12B voarindra tsara izy io raha miofana amin'ny kaody Python in-50 heny. Ity fikarohana ity dia miverina amin'ny fikarohana teo aloha fa ny modely lehibe kokoa dia mety ho santionany mahomby kokoa noho ny modely kely kokoa satria afaka mamindra fianarana amin'ny fomba mahomby kokoa izy ireo avy amin'ny maro. fiteny fandaharana ary angona amin'ny fiteny tsotra.
Famaranana
Ny PaLM dia mampiseho ny fahafahan'ny rafitra Pathways hanitatra amin'ny processeur accelerator an'arivony amin'ny TPU v4 Pods roa amin'ny alàlan'ny fanofanana am-pahombiazana modely 540 lavitrisa miaraka amin'ny fomba fanao efa voadinika tsara sy miorina tsara amin'ny maodely Transformer decoder tokana.
Izy io dia mahatafita fahombiazana amin'ny fampihetseham-batana vitsivitsy amin'ny alàlan'ny fanodinana fiteny voajanahary, ny fanjohian-kevitra ary ny fanamby amin'ny fanaovana kaody amin'ny alàlan'ny fanosehana ny fetran'ny maodely.
Leave a Reply