បណ្តាញសរសៃប្រសាទធំ ៗ ដែលត្រូវបានបណ្តុះបណ្តាលសម្រាប់ការទទួលស្គាល់ភាសានិងជំនាន់បានបង្ហាញលទ្ធផលលេចធ្លោនៅក្នុងកិច្ចការផ្សេងៗគ្នាក្នុងប៉ុន្មានឆ្នាំថ្មីៗនេះ។ GPT-3 បានបង្ហាញថាគំរូភាសាធំ (LLMs) អាចត្រូវបានប្រើសម្រាប់ការរៀនបាញ់ពីរបីដង និងទទួលបានលទ្ធផលល្អដោយមិនទាមទារទិន្នន័យជាក់លាក់នៃកិច្ចការទូលំទូលាយ ឬផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រគំរូ។
Google ដែលជាក្រុមហ៊ុនបច្ចេកវិទ្យា Silicon Valley បានណែនាំ PaLM ឬ Pathways Language Model ទៅកាន់ឧស្សាហកម្មបច្ចេកវិទ្យាទូទាំងពិភពលោកជាគំរូភាសា AI ជំនាន់ក្រោយ។ Google បានដាក់បញ្ចូលថ្មី។ ក្លែងបន្លំ ស្ថាបត្យកម្មចូលទៅក្នុង PaLM ដោយមានគោលបំណងជាយុទ្ធសាស្រ្តដើម្បីកែលម្អគុណភាពនៃគំរូភាសា AI ។
នៅក្នុងការប្រកាសនេះ យើងនឹងពិនិត្យមើលក្បួនដោះស្រាយ Palm យ៉ាងលម្អិត រួមទាំងប៉ារ៉ាម៉ែត្រដែលប្រើដើម្បីហ្វឹកហាត់វា បញ្ហាដែលវាដោះស្រាយ និងច្រើនទៀត។
តើអ្វីជា ក្បួនដោះស្រាយ PaLM របស់ Google?
គំរូភាសាផ្លូវគឺជាអ្វី ដូង តំណាងឱ្យ។ នេះគឺជាក្បួនដោះស្រាយថ្មីដែលបង្កើតឡើងដោយ Google ក្នុងគោលបំណងពង្រឹងស្ថាបត្យកម្ម Pathways AI ។ គោលដៅចម្បងរបស់រចនាសម្ព័ន្ធគឺធ្វើសកម្មភាពផ្សេងគ្នារាប់លានក្នុងពេលតែមួយ។
ទាំងនេះរួមបញ្ចូលអ្វីៗគ្រប់យ៉ាងចាប់ពីការឌិគ្រីបទិន្នន័យស្មុគស្មាញ រហូតដល់ហេតុផលកាត់ផ្តាច់។ PaLM មានសមត្ថភាពលើសពី AI ទំនើបបំផុតនាពេលបច្ចុប្បន្ន ក៏ដូចជាមនុស្សនៅក្នុងកិច្ចការភាសា និងហេតុផល។
នេះរួមបញ្ចូលទាំង Few-Shot Learning ដែលធ្វើត្រាប់តាមរបៀបដែលមនុស្សរៀនអ្វីថ្មី និងរួមបញ្ចូលគ្នានូវចំណេះដឹងចម្រុះដើម្បីដោះស្រាយបញ្ហាប្រឈមថ្មីៗដែលមិនធ្លាប់មានពីមុនមក ជាមួយនឹងអត្ថប្រយោជន៍នៃម៉ាស៊ីនដែលអាចប្រើប្រាស់ចំណេះដឹងទាំងអស់របស់វាដើម្បីដោះស្រាយបញ្ហាប្រឈមថ្មីៗ។ ឧទាហរណ៍មួយនៃជំនាញនេះនៅក្នុង PaLM គឺជាសមត្ថភាពរបស់វាក្នុងការពន្យល់រឿងកំប្លែងដែលវាមិនធ្លាប់ឮពីមុនមក។
PaLM បានបង្ហាញជំនាញទម្លាយជាច្រើនលើកិច្ចការប្រឈមជាច្រើន រួមទាំងការយល់ដឹងភាសា និងការបង្កើត សកម្មភាពទាក់ទងនឹងកូដនព្វន្ធច្រើនជំហាន ហេតុផលសុវតិ្ថភាព ការបកប្រែ និងច្រើនទៀត។
វាបានបង្ហាញសមត្ថភាពរបស់ខ្លួនក្នុងការដោះស្រាយបញ្ហាស្មុគស្មាញដោយប្រើសំណុំ NLP ពហុភាសា។ PaLM អាចត្រូវបានប្រើដោយទីផ្សារបច្ចេកវិជ្ជាទូទាំងពិភពលោកដើម្បីបែងចែកមូលហេតុនិងឥទ្ធិពល បន្សំគំនិត ហ្គេមប្លែកៗ និងអ្វីៗជាច្រើនទៀត។
វាក៏អាចបង្កើតការពន្យល់ស៊ីជម្រៅសម្រាប់បរិបទជាច្រើនដោយប្រើការសន្និដ្ឋានឡូជីខលពហុជំហាន ភាសាស៊ីជម្រៅ ចំណេះដឹងជាសកល និងបច្ចេកទេសផ្សេងទៀត។
តើ Google បង្កើតក្បួនដោះស្រាយ PaLM យ៉ាងដូចម្តេច?
សម្រាប់ដំណើរការឈានមុខគេរបស់ Google នៅក្នុង PaLM ផ្លូវត្រូវបានកំណត់ពេលដើម្បីពង្រីករហូតដល់ 540 ពាន់លានប៉ារ៉ាម៉ែត្រ។ វាត្រូវបានគេទទួលស្គាល់ថាជាគំរូមួយដែលអាចធ្វើឱ្យមានប្រសិទ្ធភាពនិងមានប្រសិទ្ធភាពទូទៅនៅទូទាំងដែនជាច្រើន។ Pathways at Google គឺឧទ្ទិសដល់ការអភិវឌ្ឍន៍កុំព្យូទ័រចែកចាយសម្រាប់ឧបករណ៍បង្កើនល្បឿន។
PaLM គឺជាគំរូបំលែងសម្រាប់តែឌិកូដឌ័រ ដែលត្រូវបានបណ្តុះបណ្តាលដោយប្រើប្រព័ន្ធផ្លូវ។ PaLM សម្រេចបានជោគជ័យក្នុងការអនុវត្តការបាញ់ប្រហារតិចតួចបំផុតនៅទូទាំងបន្ទុកការងារជាច្រើន នេះបើយោងតាម Google ។ PaLM បានប្រើប្រាស់ប្រព័ន្ធ Pathways ដើម្បីពង្រីកការបណ្តុះបណ្តាលដល់ការកំណត់រចនាសម្ព័ន្ធប្រព័ន្ធផ្អែកលើ TPU ដ៏ធំបំផុត ដែលត្រូវបានគេស្គាល់ថាជាបន្ទះឈីប 6144 ជាលើកដំបូង។
សំណុំទិន្នន័យបណ្តុះបណ្តាលសម្រាប់គំរូភាសា AI ត្រូវបានបង្កើតឡើងដោយការលាយបញ្ចូលគ្នានៃភាសាអង់គ្លេស និងសំណុំទិន្នន័យពហុភាសាផ្សេងទៀត។ ជាមួយនឹងវាក្យសព្ទ "មិនបាត់បង់" វាមានមាតិកាគេហទំព័រដែលមានគុណភាពខ្ពស់ ការពិភាក្សា សៀវភៅ កូដ GitHub វិគីភីឌា និងច្រើនទៀត។ វាក្យសព្ទដែលមិនបាត់បង់ត្រូវបានទទួលស្គាល់សម្រាប់ការរក្សាចន្លោះទទេ និងបំបែកតួអក្សរយូនីកូដដែលមិនមាននៅក្នុងវាក្យសព្ទទៅជាបៃ។
PaLM ត្រូវបានបង្កើតឡើងដោយ Google និង Pathways ដោយប្រើស្ថាបត្យកម្មគំរូប្លែងស្តង់ដារ និងការកំណត់រចនាសម្ព័ន្ធឌិកូដដែលរួមបញ្ចូលការធ្វើឱ្យសកម្ម SwiGLU ស្រទាប់ប៉ារ៉ាឡែល ការបង្កប់ RoPE ការបង្កប់បញ្ចូលលទ្ធផលរួម ការយកចិត្តទុកដាក់លើសំណួរច្រើន និងគ្មានភាពលំអៀង ឬវាក្យសព្ទ។ ម៉្យាងវិញទៀត PaLM គឺត្រៀមខ្លួនជាស្រេចក្នុងការផ្តល់នូវមូលដ្ឋានរឹងមាំសម្រាប់គំរូភាសា AI របស់ Google និង Pathways ។
ប៉ារ៉ាម៉ែត្រដែលប្រើដើម្បីបណ្តុះបណ្តាល PaLM
កាលពីឆ្នាំមុន Google បានចាប់ផ្តើមដំណើរការ Pathways ដែលជាគំរូតែមួយដែលអាចត្រូវបានបណ្តុះបណ្តាលឱ្យធ្វើរាប់ពាន់ ប្រសិនបើមិនមែនរាប់លាននោះទេ ដែលត្រូវបានគេដាក់ឈ្មោះថា "ស្ថាបត្យកម្ម AI ជំនាន់បន្ទាប់" ចាប់តាំងពីវាអាចយកឈ្នះលើដែនកំណត់នៃម៉ូដែលដែលមានស្រាប់ក្នុងការហ្វឹកហាត់ដើម្បីធ្វើរឿងតែមួយ។ . ជាជាងការពង្រីកសមត្ថភាពរបស់ម៉ូដែលបច្ចុប្បន្ន ម៉ូដែលថ្មីជាញឹកញាប់ត្រូវបានបង្កើតឡើងពីបាតឡើងដើម្បីសម្រេចការងារតែមួយ។
ជាលទ្ធផលពួកគេបានបង្កើតគំរូរាប់ម៉ឺនសម្រាប់សកម្មភាពផ្សេងៗគ្នារាប់ម៉ឺន។ នេះគឺជាការងារចំណាយពេលវេលា និងប្រើប្រាស់ធនធាន។
Google បានបង្ហាញតាមរយៈ Pathways ថាគំរូតែមួយអាចគ្រប់គ្រងសកម្មភាពផ្សេងៗបាន ហើយទាក់ទាញ និងបញ្ចូលគ្នានូវទេពកោសល្យបច្ចុប្បន្ន ដើម្បីរៀនកិច្ចការថ្មីៗកាន់តែលឿន និងមានប្រសិទ្ធភាព។
គំរូពហុម៉ូឌុលដែលរួមបញ្ចូលចក្ខុវិស័យ ការយល់ភាសា និងដំណើរការសោតទស្សន៍ទាំងអស់ក្នុងពេលតែមួយអាចត្រូវបានបើកដំណើរការតាមរយៈផ្លូវ។ Pathways Language Model (PaLM) អនុញ្ញាតឱ្យមានការបណ្តុះបណ្តាលគំរូតែមួយនៅទូទាំង TPU v4 Pods ជាច្រើនដោយអរគុណចំពោះគំរូប៉ារ៉ាម៉ែត្រ 540 ពាន់លានរបស់វា។
PaLM ដែលជាម៉ូដែល Transformer តែមួយគត់ដែលឌិកូដឌឺឌ័រ មានប្រសិទ្ធភាពជាងការថតពីរបីដងដ៏ទំនើបបំផុតនៅទូទាំងជួរដ៏ធំទូលាយនៃបន្ទុកការងារ។ PaLM កំពុងត្រូវបានបណ្តុះបណ្តាលលើ TPU v4 Pods ចំនួនពីរដែលត្រូវបានភ្ជាប់តាមរយៈបណ្តាញមជ្ឈមណ្ឌលទិន្នន័យ (DCN)។
វាទាញយកប្រយោជន៍ពីភាពស្របគ្នានៃគំរូ និងទិន្នន័យ។ អ្នកស្រាវជ្រាវបានប្រើប្រាស់ប្រព័ន្ធដំណើរការ TPU v3072 ចំនួន 4 នៅក្នុង Pod នីមួយៗសម្រាប់ PaLM ដែលត្រូវបានភ្ជាប់ទៅម៉ាស៊ីនចំនួន 768 ។ យោងតាមក្រុមអ្នកស្រាវជ្រាវ នេះគឺជាការកំណត់រចនាសម្ព័ន្ធ TPU ដ៏ធំបំផុតដែលមិនទាន់បានបង្ហាញ ដែលអនុញ្ញាតឱ្យពួកគេធ្វើមាត្រដ្ឋានការបណ្តុះបណ្តាលដោយមិនប្រើភាពស្របគ្នានៃបំពង់។
ស្រទាប់បំពង់គឺជាដំណើរការនៃការប្រមូលផ្តុំសេចក្តីណែនាំពី CPU តាមរយៈបំពង់ជាទូទៅ។ ស្រទាប់នៃគំរូត្រូវបានបែងចែកទៅជាដំណាក់កាលដែលអាចត្រូវបានដំណើរការស្របគ្នាតាមរយៈគំរូបំពង់បង្ហូរប៉ារ៉ាឡែល (ឬភាពស្របគ្នានៃបំពង់)។
អង្គចងចាំធ្វើឱ្យសកម្មត្រូវបានបញ្ជូនទៅជំហានបន្ទាប់ នៅពេលដែលដំណាក់កាលមួយបញ្ចប់ការបញ្ជូនបន្តសម្រាប់បណ្តុំមីក្រូ។ បន្ទាប់មក ជម្រាលត្រូវបានបញ្ជូនទៅខាងក្រោយ នៅពេលដែលដំណាក់កាលខាងក្រោមបញ្ចប់ការផ្សព្វផ្សាយថយក្រោយរបស់វា។
សមត្ថភាពបំបែក PaLM
PaLM បង្ហាញសមត្ថភាពពិសេសនៅក្នុងជួរនៃកិច្ចការពិបាកៗ។ នេះគឺជាឧទាហរណ៍ជាច្រើន៖
1. ការបង្កើតនិងការយល់ដឹងភាសា
PaLM ត្រូវបានដាក់ឱ្យធ្វើតេស្តលើកិច្ចការ 29 NLP ផ្សេងៗគ្នាជាភាសាអង់គ្លេស។
នៅលើមូលដ្ឋានបាញ់ពីរបី PaLM 540B បានដំណើរការជាងម៉ូដែលធំមុនៗដូចជា GLaM, GPT-3, Megatron-Turing NLG, Gopher, Chinchilla និង LaMDA លើកិច្ចការ 28 ក្នុងចំណោម 29 រួមទាំងកិច្ចការឆ្លើយសំណួរបំរែបំរួលនៃសៀវភៅបិទជិតបើកចំហ។ កិច្ចការបិទ និងបញ្ចប់ប្រយោគ កិច្ចការរចនាប័ទ្ម Winograd កិច្ចការអានក្នុងបរិបទ កិច្ចការហេតុផលសមហេតុសមផល កិច្ចការ SuperGLUE និងការសន្និដ្ឋានធម្មជាតិ។
នៅលើកិច្ចការធំៗមួយចំនួន PaLM បង្ហាញពីការបកស្រាយភាសាធម្មជាតិដ៏ល្អ និងជំនាញជំនាន់។ ជាឧទាហរណ៍ គំរូអាចបែងចែករវាងបុព្វហេតុ និងឥទ្ធិពល ស្វែងយល់ពីការផ្សំគំនិតក្នុងស្ថានភាពជាក់លាក់ និងថែមទាំងអាចទាយភាពយន្តពីរូបអារម្មណ៍ផងដែរ។ ទោះបីជាមានតែ 22% នៃអង្គភាពបណ្តុះបណ្តាលមិនមែនជាភាសាអង់គ្លេសក៏ដោយ PaLM ដំណើរការបានល្អលើស្តង់ដារ NLP ពហុភាសា រួមទាំងការបកប្រែ បន្ថែមលើកិច្ចការភាសាអង់គ្លេស NLP ។
៥- ការវែកញែក
PaLM រួមបញ្ចូលគ្នានូវទំហំគំរូជាមួយនឹងខ្សែសង្វាក់នៃការគិតដែលជំរុញឱ្យបង្ហាញពីជំនាញទម្លាយលើបញ្ហាប្រឈមក្នុងការវែកញែកដែលតម្រូវឱ្យមានការគិតលេខនព្វន្ធច្រើនជំហាន ឬសមហេតុផល។
LLMs ពីមុនដូចជា Gopher ទទួលបានអត្ថប្រយោជន៍តិចជាងពីទំហំគំរូទាក់ទងនឹងការបង្កើនការអនុវត្ត។ PaLM 540B ជាមួយនឹងខ្សែសង្វាក់នៃការគិតដែលជំរុញឱ្យដំណើរការបានល្អលើសំណុំទិន្នន័យគិតលេខនព្វន្ធចំនួនបី និងការគិតធម្មតា។
PaLM ដំណើរការបានពិន្ទុល្អបំផុតពីមុនគឺ 55% ដែលត្រូវបានទទួលដោយការកែសម្រួលគំរូ GPT-3 175B ជាមួយនឹងសំណុំបណ្តុះបណ្តាលនៃបញ្ហា 7500 ហើយរួមបញ្ចូលវាជាមួយម៉ាស៊ីនគិតលេខខាងក្រៅ និងឧបករណ៍ផ្ទៀងផ្ទាត់ដើម្បីដោះស្រាយបញ្ហា 58 ភាគរយនៅក្នុង GSM8K, a តារាងពិន្ទុនៃសំណួរគណិតវិទ្យាកម្រិតសាលាកម្រិតពិបាករាប់ពាន់នាក់ដោយប្រើការជម្រុញ 8-shot ។
ពិន្ទុថ្មីនេះគឺគួរឱ្យកត់សម្គាល់ជាពិសេសចាប់តាំងពីវាខិតជិត 60% ជាមធ្យមនៃឧបសគ្គដែលជួបប្រទះដោយក្មេងអាយុ 9-12 ឆ្នាំ។ វាក៏អាចឆ្លើយតបទៅនឹងរឿងកំប្លែងដើមដែលមិនមាននៅលើអ៊ីនធឺណិត។
3. ការបង្កើតកូដ
LLMs ក៏ត្រូវបានបង្ហាញឱ្យដំណើរការបានល្អក្នុងកិច្ចការសរសេរកូដ រួមទាំងការបង្កើតកូដពីការពិពណ៌នាភាសាធម្មជាតិ (អត្ថបទទៅកូដ) ការបកប្រែកូដរវាងភាសា និងការដោះស្រាយកំហុសក្នុងការចងក្រង។ ទោះបីជាមានលេខកូដ 5% នៅក្នុងសំណុំទិន្នន័យមុនការបណ្តុះបណ្តាលក៏ដោយ PaLM 540B ដំណើរការបានល្អទាំងលើការងារសរសេរកូដ និងភាសាធម្មជាតិនៅក្នុងគំរូតែមួយ។
ការបាញ់ពីរបីគ្រាប់របស់វាគឺមិនគួរឱ្យជឿព្រោះវាត្រូវគ្នានឹង Codex 12B ដែលត្រូវបានកែសម្រួលយ៉ាងល្អខណៈពេលដែលការហ្វឹកហាត់ជាមួយនឹងលេខកូដ Python តិចជាង 50 ដង។ ការរកឃើញនេះគាំទ្រជាមួយនឹងការរកឃើញពីមុនថា គំរូធំអាចមានប្រសិទ្ធភាពជាងគំរូតូច ព្រោះពួកគេអាចផ្ទេរការរៀនសូត្រពីច្រើនយ៉ាងមានប្រសិទ្ធភាពជាង។ ភាសាសរសេរកម្មវិធី និងទិន្នន័យភាសាសាមញ្ញ។
សន្និដ្ឋាន
PaLM បង្ហាញពីសមត្ថភាពរបស់ប្រព័ន្ធ Pathways ក្នុងការធ្វើមាត្រដ្ឋានដល់ឧបករណ៍ដំណើរការបង្កើនល្បឿនរាប់ពាន់នៅលើ TPU v4 Pods ពីរ ដោយការបណ្តុះបណ្តាលប្រកបដោយប្រសិទ្ធភាពនូវគំរូប៉ារ៉ាម៉ែត្រចំនួន 540 ពាន់លានជាមួយនឹងរូបមន្តដែលបានសិក្សាយ៉ាងល្អ និងបានបង្កើតឡើងយ៉ាងល្អនៃម៉ូដែល Transformer ឌិកូដឌ័រតែប៉ុណ្ណោះ។
វាសម្រេចបាននូវការទម្លាយនូវការអនុវត្តការបាញ់ប្រហារតិចតួចនៅទូទាំងជួរនៃដំណើរការភាសាធម្មជាតិ ការវែកញែក និងបញ្ហាប្រឈមក្នុងការសរសេរកូដដោយជំរុញដែនកំណត់នៃមាត្រដ្ឋានគំរូ។
សូមផ្ដល់យោបល់