Marang-rang a maholo a methapo ea kutlo a koetliselitsoeng ho lemoha le ho hlahisa puo a bontšitse litholoana tse ikhethang mesebetsing e fapaneng lilemong tsa morao tjena. GPT-3 e pakile hore mefuta e meholo ea lipuo (LLMs) e ka sebelisoa bakeng sa ho ithuta ka mokhoa o fokolang le ho fumana liphetho tse ntle ntle le ho hloka lintlha tse ngata tse khethehileng tsa mosebetsi kapa ho fetola liparamente tsa mohlala.
Google, e leng Silicon Valley tech behemoth, e hlahisitse PaLM, kapa Pathways Language Model, indastering ea lefats'e ea theknoloji e le mofuta o latelang oa puo ea AI. Google e kentse e ncha bohlale ba maiketsetso kaho ea PaLM ka sepheo sa maano a ho ntlafatsa boleng ba mohlala oa puo ea AI.
Ka poso ena, re tla hlahloba algorithm ea Palm ka botlalo, ho kenyelletsa le liparamente tse sebelisoang ho e koetlisa, taba eo e e rarollang, le tse ling tse ngata.
ke eng Algorithm ea Google ea PaLM?
Pathways Language Model ke eng PALM e emetse. Ena ke algorithm e ncha e ntlafalitsoeng ke Google molemong oa ho matlafatsa meralo ea Pathways AI. Sepheo se seholo sa mohaho ke ho etsa mesebetsi e fapaneng e limilione ka nako e le 'ngoe.
Tsena li kenyelletsa ntho e 'ngoe le e 'ngoe ho tloha ho ho hlalosa lintlha tse rarahaneng ho isa ho mabaka a fokolang. PaLM e na le bokhoni ba ho feta boemo ba morao-rao ba AI hammoho le batho ka lipuo le mesebetsi ea ho beha mabaka.
Sena se kenyelletsa ho Ithuta ho Feta-Shot, e etsisang tsela eo batho ba ithutang lintho tse ncha ka eona le ho kopanya likarolo tse fapaneng tsa tsebo ho sebetsana le mathata a macha a e-s'o ka a bonoa pele, ka molemo oa mochine o ka sebelisang tsebo eohle ea oona ho rarolla mathata a macha; mohlala o mong oa tsebo ena ea PaLM ke bokhoni ba eona ba ho hlalosa motlae oo e e-s'o ka o o utloa.
PaLM e bonts'itse litsebo tse ngata tsa katleho mesebetsing e fapaneng e thata, ho kenyeletsoa kutloisiso ea puo le popo, mesebetsi e amanang le khoutu ea lipalo tse ngata, ho beha mabaka ka kelello, phetolelo, le tse ling tse ngata.
E bontšitse bokhoni ba eona ba ho rarolla mathata a rarahaneng ka ho sebelisa lipuo tse ngata tsa NLP. PaLM e ka sebelisoa ke 'maraka oa lefats'e oa theknoloji ho khetholla sesosa le phello, motsoako oa mehopolo, lipapali tse ikhethileng le lintho tse ling tse ngata.
E ka boela ea hlahisa litlhaloso tse tebileng bakeng sa maemo a mangata ka ho sebelisa mekhoa e mengata e utloahalang, puo e tebileng, tsebo ea lefats'e, le mekhoa e meng.
Google e thehile algorithm ea PaLM joang?
Bakeng sa ts'ebetso e atlehileng ea Google ho PaLM, litsela li reretsoe ho fihla ho li-parameter tse limilione tse likete tse 540. E nkuoa e le mohlala o le mong o ka akaretsang hantle le ka nepo libakeng tse ngata. Pathways ho Google e ikemiselitse ho nts'etsapele likhomphutha tse phatlalalitsoeng bakeng sa li-accelerator.
PaLM ke mohlala oa li-decoder-feela tse koetlisitsoeng ka mokhoa oa Pathways. PaLM e atlehile ho finyella ts'ebetso ea morao-rao e fokolang mesebetsing e mengata, ho latela Google. PaLM e sebelisitse mokhoa oa Pathways ho atolosa koetliso ho tlhophiso e kholo ka ho fetisisa ea tsamaiso ea TPU, e tsejoang e le li-chips tsa 6144 ka lekhetlo la pele.
Lenane la boitsebiso la koetliso bakeng sa moetso oa puo ea AI le entsoe ka motsoako oa Senyesemane le li-database tse ling tsa lipuo tse ngata. Ka mantsoe a "se nang tahlehelo", e na le litaba tsa marang-rang tsa boleng bo holimo, lipuisano, libuka, khoutu ea GitHub, Wikipedia, le tse ling tse ngata. Mantsoe a se nang tahlehelo a tsejoa ka ho boloka sebaka se sesoeu le ho senya litlhaku tsa Unicode tse sieo pokellong ea mantsoe hore e be li-byte.
PaLM e ile ea ntlafatsoa ke Google le Pathways e sebelisang meralo e tloaelehileng ea li-transformer le tlhophiso ea li-decoder tse kenyeletsang SwiGLU Activation, likarolo tse tšoanang, li-embeddings tsa RoPE, li-input-outputs tse arolelanoang, tlhokomelo ea lipotso tse ngata, 'me ha ho na leeme kapa mantsoe. Ka lehlakoreng le leng, PaLM e mothating oa ho fana ka motheo o tiileng bakeng sa mofuta oa AI oa Google le Pathways.
Mekhahlelo e sebelisetsoang ho koetlisa PaLM
Selemong se fetileng, Google e ile ea tsebisa Pathways, mohlala o le mong o ka koetlisetsoang ho etsa lintho tse likete, haeba e se limilione, tse bitsoang "meralo e latelang ea meralo ea AI" kaha e ka hlola mefokolo e teng ea ho koetlisetsoa ho etsa ntho e le 'ngoe feela. . Ho e-na le ho atolosa bokhoni ba mehlala ea hona joale, mefuta e mecha e atisa ho hahoa ho tloha tlaase ho ea holimo ho finyella mosebetsi o le mong.
Ka lebaka leo, ba thehile mashome a likete tsa mehlala bakeng sa mashome a likete a mesebetsi e fapaneng. Ona ke mosebetsi o nkang nako ebile o hloka lisebelisoa.
Google e pakile ka Pathways hore mofuta o le mong o ka sebetsana le mesebetsi e fapaneng mme oa hohela le ho kopanya litalenta tsa hajoale ho ithuta mesebetsi e mecha kapele le ka nepo.
Mefuta e mengata e kenyelletsang pono, kutloisiso ea lipuo, le ts'ebetso ea kutlo kaofela ka nako e le 'ngoe e ka lumelloa ka litsela. Pathways Language Model (PaLM) e lumella ho koetlisoa ha mofuta o le mong ho pholletsa le li-pods tse ngata tsa TPU v4 ka lebaka la mohlala oa eona oa li-parameter tse limilione tse likete tse 540.
PaLM, e leng mofuta o teteaneng oa Transformer e nang le li-decoder-feela, e fetisa ts'ebetso ea morao-rao ea lithunya tse 'maloa mesebetsing e mengata e fapaneng. PaLM e ntse e koetlisoa ho li-Pods tse peli tsa TPU v4 tse hokahaneng ka marang-rang a setsi sa data (DCN).
E nka monyetla ka bobeli ba mohlala le data parallelism. Bafuputsi ba sebelisitse li-processor tsa 3072 TPU v4 ho Pod e 'ngoe le e' ngoe bakeng sa PaLM, e neng e hokahane le mabotho a 768. Ho ea ka bafuputsi, ena ke tlhophiso e kholo ka ho fetisisa ea TPU e ntseng e senoloa, e ba lumellang ho phahamisa koetliso ntle le ho sebelisa papiso ea liphaephe.
Pipe linening ke mokhoa oa ho bokella litaelo ho tsoa ho CPU ka liphaephe ka kakaretso. Likarolo tsa mohlala li arotsoe ka mekhahlelo e ka sebetsoang ka ho bapa ka mokhoa oa ho tsamaisana le lipeipi (kapa parallelism ea pipeline).
Memori ea ts'ebetso e romelloa mohatong o latelang ha mohato o le mong o qeta ho fetela pele bakeng sa "micro-batch". Joale li-gradients li romelloa ka morao ha mohato o latelang o qeta ho phatlalatsoa ka morao.
Matla a Phahamiso ea PaLM
PaLM e bonts'a bokhoni bo matla mesebetsing e mengata e thata. Mehlala e mengata ke ena:
1. Tlhophiso ea puo le kutloisiso
PaLM e ile ea lekoa mesebetsing e 29 e fapaneng ea NLP ka Senyesemane.
Ka makhetlo a 'maloa, PaLM 540B e ile ea atleha ho feta mefuta e meholo e fetileng e kang GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla, le LaMDA mesebetsing e 28 ho e 29, ho kenyelletsa le mesebetsi e fapaneng ea likarabo tsa lipotso tse sa tšoaneng. , mesebetsi ea ho koala le ho phethela polelo, mesebetsi ea mokhoa oa Winograd, mesebetsi ea kutloisiso ea ho bala ka har'a moelelo, mesebetsi ea ho beha mabaka ka mokhoa o tloaelehileng, mesebetsi ea SuperGLUE, le monahano oa tlhaho.
Mesebetsing e mengata ea BIG-bench, PaLM e bonts'a tlhaloso e ntle ea puo ea tlhaho le tsebo ea moloko. Mohlala, mohlala o ka khetholla lipakeng tsa sesosa le phello, oa utloisisa motsoako oa maikutlo maemong a itseng, esita le ho hakanya filimi ho tsoa ho emoji. Leha ho le joalo 22% feela ea sehlopha sa koetliso e se Senyesemane, PaLM e sebetsa hantle ho litekanyetso tsa lipuo tse ngata tsa NLP, ho kenyeletsoa le phetolelo, ntle le mesebetsi ea Senyesemane ea NLP.
2. Ho Bea Mabaka
PaLM e kopanya boholo ba mohlala le ketane ea menahano e susumetsang ho bonts'a litsebo tsa ho beha mabaka tse hlokang mabaka a mangata a lipalo kapa a commonsense.
Li-LLM tse fetileng, joalo ka Gopher, li ruile molemo o fokolang ho tsoa ho boholo ba mohlala mabapi le ho ntlafatsa ts'ebetso. PaLM 540B e nang le ts'usumetso ea ketane ea menahano e ile ea sebetsa hantle liphatlalatsong tse tharo tsa arithmetic le tse peli tsa commonsense tsa ho nahana.
PaLM e feta palo ea pele e ntle ka ho fetisisa ea 55%, e ileng ea fumanoa ka ho lokisa hantle mohlala oa GPT-3 175B ka sehlopha sa koetliso ea mathata a 7500 le ho e kopanya le k'hamera ea ka ntle le verifier ho rarolla karolo ea 58 ea litaba ho GSM8K, a palo ea likete tsa lipotso tse thata tsa lipalo tsa boemo ba sekolo li sebelisa 8-shot prompting.
Lintlha tsena tse ncha li bohlokoa haholo kaha li atamela karolelano ea 60% ea litšitiso tse bonoang ke bana ba lilemo tse 9-12. E ka boela ea arabela metlae ea pele e sa fumaneheng inthaneteng.
3. Moloko oa Khoutu
Li-LLM li boetse li bontšitsoe ho sebetsa hantle mesebetsing ea likhoutu, ho kenyelletsa ho hlahisa khoutu ho tsoa tlhalosong ea puo ea tlhaho (text-to-code), ho fetolela khoutu lipakeng tsa lipuo, le ho rarolla liphoso tsa ho bokella. Ho sa tsotellehe ho ba le khoutu ea 5% feela ka har'a dataset ea pele ho koetliso, PaLM 540B e sebetsa hantle mesebetsing ea ho ngolisa le ea puo ea tlhaho ka mokhoa o le mong.
Ts'ebetso ea eona ea lithunya tse 'maloa e ea makatsa, kaha e ts'oana le Codex 12B e hlophisitsoeng hantle ha e ntse e ikoetlisa ka makhetlo a 50 ka tlase ho khoutu ea Python. Sephetho sena se ipapisitse le liphuputso tsa pejana tsa hore mefuta e meholo e ka sebetsa hantle haholo ho feta mehlala e menyenyane hobane e khona ho fetisa thuto ho tsoa ho tse ngata. lipuo tsa mananeo le lintlha tsa puo e hlakileng.
fihlela qeto e
PaLM e bonts'a bokhoni ba Sisteme ea Pathways ho fihlela likete tsa li-accelerator processors ho feta li-pod tse peli tsa TPU v4 ka ho koetlisa ka mokhoa o atlehileng mohlala oa li-parameter tse limilione tse likete tse 540 ka risepe e ithutoang hantle, e thehiloeng hantle ea mofuta o teteaneng oa Transformer ea decoder-feela.
E finyella katleho e fokolang ea ts'ebetso e fokolang ho pholletsa le mefuta e mengata ea ts'ebetso ea puo ea tlhaho, ho beha mabaka, le liphephetso tsa likhoutu ka ho sututsa meeli ea sekala sa mohlala.
Leave a Reply