សព្វថ្ងៃនេះ យើងកំពុងតែឃើញបដិវត្តន៍មួយក្នុងផ្នែកនៃការកែច្នៃភាសាធម្មជាតិ។ ហើយវាប្រាកដណាស់ថាគ្មានអនាគតណាដែលគ្មានបញ្ញាសិប្បនិម្មិតនោះទេ។ យើងកំពុងប្រើ AI "ជំនួយការ" ផ្សេងៗរួចហើយ។
Chatbots គឺជាឧទាហរណ៍ដ៏ល្អបំផុតនៅក្នុងករណីរបស់យើង។ ពួកគេតំណាងឱ្យសម័យថ្មីនៃការទំនាក់ទំនង។ ប៉ុន្តែតើអ្វីដែលធ្វើឱ្យពួកគេពិសេសដូច្នេះ?
chatbots បច្ចុប្បន្នអាចយល់ និងឆ្លើយសំណួរជាភាសាធម្មជាតិដោយមានភាពច្បាស់លាស់ និងលម្អិតដូចអ្នកជំនាញរបស់មនុស្ស។ វាគួរឱ្យរំភើបក្នុងការរៀនអំពីយន្តការដែលចូលទៅក្នុងដំណើរការ។
តោងឡើង ហើយតោះរកឃើញបច្ចេកវិទ្យានៅពីក្រោយវា។
មុជទឹកចូលទៅក្នុងបច្ចេកវិទ្យា
AI Transformers គឺជាពាក្យគន្លឹះដ៏សំខាន់នៅក្នុងតំបន់នេះ។ ពួកគេគឺដូចជា បណ្តាញសរសៃប្រសាទ ដែលបានធ្វើបដិវត្តដំណើរការភាសាធម្មជាតិ។ នៅក្នុងការពិត មានភាពស្រដៀងគ្នានៃការរចនាសន្ធឹកសន្ធាប់រវាងឧបករណ៍បំលែង AI និងបណ្តាញសរសៃប្រសាទ។
ទាំងពីរត្រូវបានបង្កើតឡើងដោយស្រទាប់ជាច្រើននៃអង្គភាពដំណើរការដែលធ្វើការគណនាជាបន្តបន្ទាប់ដើម្បីបំប្លែងទិន្នន័យបញ្ចូលទៅជាការព្យាករណ៍ជាលទ្ធផល។ នៅក្នុងការប្រកាសនេះ យើងនឹងពិនិត្យមើលថាមពលរបស់ AI Transformers និងរបៀបដែលពួកគេកំពុងផ្លាស់ប្តូរពិភពលោកជុំវិញយើង។
សក្តានុពលនៃដំណើរការភាសាធម្មជាតិ
ចូរចាប់ផ្តើមជាមួយនឹងមូលដ្ឋាន។ យើងឮវាស្ទើរតែគ្រប់ទីកន្លែង។ ប៉ុន្តែ តើអ្វីជាដំណើរការភាសាធម្មជាតិ?
វាគឺជាផ្នែកមួយនៃ ក្លែងបន្លំ ដែលផ្តោតលើអន្តរកម្មរបស់មនុស្ស និងម៉ាស៊ីន តាមរយៈការប្រើប្រាស់ភាសាធម្មជាតិ។ គោលបំណងគឺដើម្បីអនុញ្ញាតឱ្យកុំព្យូទ័រយល់ បកស្រាយ និងផលិតភាសារបស់មនុស្សប្រកបដោយអត្ថន័យ និងពិតប្រាកដ។
ការទទួលស្គាល់ការនិយាយ ការបកប្រែភាសា ការវិភាគមនោសញ្ចេតនាហើយការសង្ខេបអត្ថបទគឺជាឧទាហរណ៍ទាំងអស់នៃកម្មវិធី NLP ។ ម៉្យាងវិញទៀត គំរូ NLP ប្រពៃណីបានតស៊ូដើម្បីចាប់យកទំនាក់ទំនងដ៏ស្មុគស្មាញរវាងពាក្យនៅក្នុងឃ្លាមួយ។ នេះបានធ្វើឱ្យកម្រិតខ្ពស់នៃភាពត្រឹមត្រូវនៅក្នុងកិច្ចការ NLP ជាច្រើនមិនអាចទៅរួចនោះទេ។
នេះគឺជាពេលដែល AI Transformers ចូលទៅក្នុងរូបភាព។ តាមរយៈដំណើរការយកចិត្តទុកដាក់លើខ្លួនឯង អ្នកបំប្លែងអាចកត់ត្រាភាពអាស្រ័យរយៈពេលវែង និងការភ្ជាប់រវាងពាក្យនៅក្នុងឃ្លាមួយ។ វិធីសាស្រ្តនេះអនុញ្ញាតឱ្យម៉ូដែលជ្រើសរើសដើម្បីចូលរួមក្នុងផ្នែកផ្សេងៗនៃលំដាប់បញ្ចូល។ ដូច្នេះ វាអាចយល់បាននូវបរិបទ និងអត្ថន័យនៃពាក្យនីមួយៗក្នុងឃ្លាមួយ។
អ្វីដែលពិតជាម៉ូដែល Transformers
ឧបករណ៍បំលែង AI គឺ ក ការរៀនសូត្រជ្រៅ ស្ថាបត្យកម្មដែលយល់ និងដំណើរការប្រភេទព័ត៌មានផ្សេងៗ។ វាពូកែក្នុងការកំណត់ពីរបៀបដែលព័ត៌មានជាច្រើនប៊ីតទាក់ទងគ្នាទៅវិញទៅមក ដូចជារបៀបដែលពាក្យផ្សេងគ្នានៅក្នុងឃ្លាមួយត្រូវបានភ្ជាប់ ឬរបៀបដែលផ្នែកផ្សេងគ្នានៃរូបភាពមួយសមជាមួយគ្នា។
វាដំណើរការដោយបំបែកព័ត៌មានទៅជាបំណែកតូចៗ ហើយបន្ទាប់មកមើលសមាសធាតុទាំងអស់នោះក្នុងពេលតែមួយ។ វាដូចជាមនុស្សយន្តតូចៗជាច្រើនកំពុងសហការគ្នាដើម្បីយល់ទិន្នន័យ។ បន្ទាប់មក នៅពេលដែលវាដឹងអ្វីៗគ្រប់យ៉ាង វាប្រមូលផ្តុំសមាសធាតុទាំងអស់ឡើងវិញ ដើម្បីផ្តល់នូវការឆ្លើយតប ឬលទ្ធផល។
ឧបករណ៍បំលែង AI មានតម្លៃខ្លាំងណាស់។ ពួកគេអាចចាប់យកបរិបទ និងទំនាក់ទំនងរយៈពេលវែងរវាងព័ត៌មានចម្រុះ។ នេះមានសារៈសំខាន់សម្រាប់កិច្ចការដូចជា ការបកប្រែភាសា ការសង្ខេប និងការឆ្លើយសំណួរ។ ដូច្នេះ ពួកគេគឺជាខួរក្បាលនៅពីក្រោយរឿងគួរឱ្យចាប់អារម្មណ៍ជាច្រើនដែល AI អាចសម្រេចបាន!
ការយកចិត្តទុកដាក់គឺជាអ្វីដែលអ្នកត្រូវការ
ចំណងជើងរង "ការយកចិត្តទុកដាក់គឺទាំងអស់ដែលអ្នកត្រូវការ" សំដៅទៅលើការបោះពុម្ពផ្សាយឆ្នាំ 2017 ដែលបានស្នើឡើងនូវគំរូម៉ាស៊ីនបំលែង។ វាបានធ្វើបដិវត្តវិន័យនៃដំណើរការភាសាធម្មជាតិ (NLP) ។
អ្នកនិពន្ធនៃការស្រាវជ្រាវនេះបានបញ្ជាក់ថា យន្តការយកចិត្តទុកដាក់លើខ្លួនឯងរបស់គំរូប្លែងមានភាពរឹងមាំគ្រប់គ្រាន់ដើម្បីទទួលយកតួនាទីនៃការកើតឡើងវិញធម្មតា និង បណ្តាញសរសៃប្រសាទដែលមានដំណោះស្រាយ ប្រើសម្រាប់ភារកិច្ច NLP ។
តើការយកចិត្តទុកដាក់លើខ្លួនឯងពិតប្រាកដគឺជាអ្វី?
វាគឺជាវិធីសាស្រ្តដែលអនុញ្ញាតឱ្យគំរូផ្តោតទៅលើផ្នែកនៃលំដាប់បញ្ចូលផ្សេងៗ នៅពេលបង្កើតការព្យាករណ៍។
ម៉្យាងទៀត ការយកចិត្តទុកដាក់លើខ្លួនឯងអាចឱ្យគំរូគណនាសំណុំនៃពិន្ទុយកចិត្តទុកដាក់សម្រាប់ធាតុនីមួយៗទាក់ទងនឹងសមាសធាតុផ្សេងទៀតទាំងអស់ ដែលអនុញ្ញាតឱ្យគំរូធ្វើឱ្យមានតុល្យភាពសារៈសំខាន់នៃធាតុបញ្ចូលនីមួយៗ។
នៅក្នុងវិធីសាស្រ្តផ្អែកលើ transformer ការយកចិត្តទុកដាក់ដោយខ្លួនឯងដំណើរការដូចខាងក្រោម:
លំដាប់បញ្ចូលដំបូងត្រូវបានបង្កប់ក្នុងស៊េរីវ៉ិចទ័រ ដែលមួយសម្រាប់សមាជិកលំដាប់នីមួយៗ។
សម្រាប់ធាតុនីមួយៗក្នុងលំដាប់ គំរូបង្កើតសំណុំវ៉ិចទ័របី៖ វ៉ិចទ័រសំណួរ វ៉ិចទ័រគន្លឹះ និងវ៉ិចទ័រតម្លៃ។
វ៉ិចទ័រសំណួរត្រូវបានប្រៀបធៀបទៅនឹងវ៉ិចទ័រសំខាន់ៗទាំងអស់ ហើយភាពស្រដៀងគ្នាត្រូវបានគណនាដោយប្រើផលិតផលចំនុច។
ពិន្ទុយកចិត្តទុកដាក់ដែលលទ្ធផលត្រូវបានធ្វើឱ្យមានលក្ខណៈធម្មតាដោយប្រើមុខងារ softmax ដែលបង្កើតសំណុំនៃទម្ងន់ដែលបង្ហាញពីសារៈសំខាន់ដែលទាក់ទងនៃដុំនីមួយៗនៅក្នុងលំដាប់។
ដើម្បីបង្កើតតំណាងលទ្ធផលចុងក្រោយ វ៉ិចទ័រតម្លៃត្រូវបានគុណដោយទម្ងន់យកចិត្តទុកដាក់ និងបូកសរុប។
ម៉ូដែលដែលមានមូលដ្ឋានលើ Transformer ដែលប្រើការយកចិត្តទុកដាក់ដោយខ្លួនឯងអាចចាប់យកទំនាក់ទំនងរយៈពេលវែងដោយជោគជ័យនៅក្នុងលំដាប់បញ្ចូលដោយមិនអាស្រ័យលើបង្អួចបរិបទប្រវែងថេរ ដែលធ្វើឱ្យវាមានប្រយោជន៍ជាពិសេសសម្រាប់កម្មវិធីដំណើរការភាសាធម្មជាតិ។
ឧទាហរណ៍
សន្មតថាយើងមានលំដាប់បញ្ចូលនិមិត្តសញ្ញាប្រាំមួយ: "ឆ្មាអង្គុយនៅលើកន្ទេល" ។ និមិត្តសញ្ញានីមួយៗអាចត្រូវបានតំណាងជាវ៉ិចទ័រ ហើយលំដាប់បញ្ចូលអាចមើលឃើញដូចខាងក្រោម៖
បន្ទាប់មក សម្រាប់សញ្ញាសម្ងាត់នីមួយៗ យើងនឹងបង្កើតសំណុំវ៉ិចទ័រចំនួនបី៖ វ៉ិចទ័រសំណួរ វ៉ិចទ័រគន្លឹះ និងវ៉ិចទ័រតម្លៃ។ វ៉ិចទ័រនិមិត្តសញ្ញាដែលបានបង្កប់ត្រូវបានគុណនឹងម៉ាទ្រីសទម្ងន់ដែលបានរៀនចំនួនបី ដើម្បីផ្តល់លទ្ធផលវ៉ិចទ័រទាំងនេះ។
សម្រាប់និមិត្តសញ្ញាទីមួយ "The" ឧទាហរណ៍ សំណួរ គន្លឹះ និងវ៉ិចទ័រតម្លៃនឹងមានៈ
វ៉ិចទ័រសំណួរ៖ [0.4, -0.2, 0.1]
វ៉ិចទ័រគន្លឹះ៖ [0.2, 0.1, 0.5]
វ៉ិចទ័រតម្លៃ៖ [0.1, 0.2, 0.3]
ពិន្ទុយកចិត្តទុកដាក់រវាងគូនីមួយៗនៃសញ្ញាសម្ងាត់នៅក្នុងលំដាប់បញ្ចូលត្រូវបានគណនាដោយយន្តការយកចិត្តទុកដាក់។ ឧទាហរណ៍ ពិន្ទុយកចិត្តទុកដាក់រវាងសញ្ញាលេខ 1 និងលេខ 2 “The” នឹងត្រូវបានគណនាជាផលិតផលចំនុចនៃសំណួរ និងវ៉ិចទ័រសំខាន់ៗរបស់ពួកគេ៖
ពិន្ទុយកចិត្តទុកដាក់ = dot_product(វ៉ិចទ័រសំណួរនៃសញ្ញាសម្ងាត់ 1, វ៉ិចទ័រសំខាន់នៃសញ្ញាសម្ងាត់ 2)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
ពិន្ទុយកចិត្តទុកដាក់ទាំងនេះបង្ហាញពីភាពពាក់ព័ន្ធនៃសញ្ញាសម្ងាត់នីមួយៗនៅក្នុងលំដាប់ទៅផ្សេងទៀត។
ជាចុងក្រោយ សម្រាប់និមិត្តសញ្ញានីមួយៗ តំណាងលទ្ធផលត្រូវបានបង្កើតឡើងដោយយកទម្ងន់នៃវ៉ិចទ័រតម្លៃ ដោយទម្ងន់កំណត់ដោយពិន្ទុយកចិត្តទុកដាក់។ តំណាងលទ្ធផលសម្រាប់និមិត្តសញ្ញាទីមួយ "The" ជាឧទាហរណ៍៖
វ៉ិចទ័រលទ្ធផលសម្រាប់ Token 1 = (ពិន្ទុយកចិត្តទុកដាក់ជាមួយ Token 1) * វ៉ិចទ័រតម្លៃសម្រាប់ Token 2
+ (ពិន្ទុយកចិត្តទុកដាក់ជាមួយ Token 3) * វ៉ិចទ័រតម្លៃសម្រាប់ Token 3
+ (ពិន្ទុយកចិត្តទុកដាក់ជាមួយ Token 4) * វ៉ិចទ័រតម្លៃសម្រាប់ Token 4
+ (ពិន្ទុយកចិត្តទុកដាក់ជាមួយ Token 5) * វ៉ិចទ័រតម្លៃសម្រាប់ Token 5
+ (ពិន្ទុយកចិត្តទុកដាក់ជាមួយ Token 6) * វ៉ិចទ័រតម្លៃសម្រាប់ Token 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
ជាលទ្ធផលនៃការយកចិត្តទុកដាក់ដោយខ្លួនឯង ម៉ូដែលដែលមានមូលដ្ឋានលើប្លែងអាចជ្រើសរើសចូលរួមផ្នែកផ្សេងៗនៃលំដាប់បញ្ចូលនៅពេលបង្កើតលំដាប់លទ្ធផល។
កម្មវិធីគឺច្រើនជាងអ្នកគិត
ដោយសារតែភាពប្រែប្រួល និងសមត្ថភាពរបស់ពួកគេក្នុងការដោះស្រាយកិច្ចការ NLP ដ៏ធំទូលាយ ដូចជាការបកប្រែម៉ាស៊ីន ការវិភាគមនោសញ្ចេតនា ការសង្ខេបអត្ថបទ និងអ្វីៗជាច្រើនទៀត ឧបករណ៍បំលែង AI បានកើនឡើងក្នុងប្រជាប្រិយភាពក្នុងប៉ុន្មានឆ្នាំថ្មីៗនេះ។
ឧបករណ៍បំលែង AI ត្រូវបានប្រើប្រាស់ក្នុងដែនផ្សេងៗគ្នា រួមទាំងការទទួលស្គាល់រូបភាព ប្រព័ន្ធណែនាំ និងសូម្បីតែការរកឃើញថ្នាំ បន្ថែមពីលើកម្មវិធីដែលមានមូលដ្ឋានលើភាសាបុរាណ។
ឧបករណ៍បំលែង AI មានការប្រើប្រាស់ស្ទើរតែគ្មានដែនកំណត់ ចាប់តាំងពីពួកវាអាចត្រូវបានកែសម្រួលទៅតាមតំបន់បញ្ហា និងប្រភេទទិន្នន័យជាច្រើន។ ឧបករណ៍បំលែង AI ជាមួយនឹងសមត្ថភាពរបស់ពួកគេក្នុងការវិភាគលំដាប់ទិន្នន័យដ៏ស្មុគស្មាញ និងចាប់យកទំនាក់ទំនងរយៈពេលវែង ត្រូវបានកំណត់ថាជាកត្តាជំរុញដ៏សំខាន់ក្នុងការអភិវឌ្ឍន៍កម្មវិធី AI នៅឆ្នាំបន្ទាប់។
ការប្រៀបធៀបជាមួយស្ថាបត្យកម្មបណ្តាញសរសៃប្រសាទផ្សេងទៀត។
ដោយសារពួកគេអាចវិភាគលំដាប់នៃការបញ្ចូល និងចាប់យកទំនាក់ទំនងរយៈពេលវែងនៅក្នុងអត្ថបទនោះ ឧបករណ៍បំលែង AI មានភាពស័ក្តិសមជាពិសេសសម្រាប់ដំណើរការភាសាធម្មជាតិ បើប្រៀបធៀបទៅនឹងកម្មវិធីបណ្តាញសរសៃប្រសាទផ្សេងទៀត។
ម្យ៉ាងវិញទៀត ស្ថាបត្យកម្មបណ្តាញសរសៃប្រសាទមួយចំនួន ដូចជាបណ្តាញសរសៃប្រសាទ convolutional (CNNs) និងបណ្តាញសរសៃប្រសាទកើតឡើងវិញ (RNNs) គឺស័ក្តិសមជាងទៅនឹងកិច្ចការដែលពាក់ព័ន្ធនឹងដំណើរការនៃធាតុបញ្ចូលដែលមានរចនាសម្ព័ន្ធ ដូចជារូបភាព ឬទិន្នន័យស៊េរីពេលវេលា។
អនាគតគឺមើលទៅភ្លឺ
អនាគតរបស់ AI transformers ហាក់ដូចជាភ្លឺស្វាង។ ផ្នែកមួយនៃការសិក្សាដែលកំពុងបន្តគឺការអភិវឌ្ឍន៍នៃគំរូដែលមានឥទ្ធិពលកាន់តែខ្លាំងឡើងជាលំដាប់ ដែលមានសមត្ថភាពអាចដោះស្រាយកិច្ចការដែលមានភាពស្មុគស្មាញកាន់តែខ្លាំងឡើង។
លើសពីនេះទៅទៀត ការព្យាយាមកំពុងត្រូវបានធ្វើឡើងដើម្បីភ្ជាប់ឧបករណ៍បំលែង AI ជាមួយនឹងបច្ចេកវិទ្យា AI ផ្សេងទៀតដូចជា ការពង្រឹងការរៀន។ដើម្បីផ្តល់នូវសមត្ថភាពធ្វើការសម្រេចចិត្តកម្រិតខ្ពស់បន្ថែមទៀត។
គ្រប់ឧស្សាហកម្មទាំងអស់កំពុងព្យាយាមប្រើប្រាស់សក្តានុពលនៃ AI ដើម្បីជំរុញការច្នៃប្រឌិត និងសម្រេចបាននូវការប្រកួតប្រជែង។ ដូច្នេះ ឧបករណ៍បំលែង AI ទំនងជាត្រូវបានដាក់បញ្ចូលជាបណ្តើរៗទៅក្នុងកម្មវិធីជាច្រើន រួមទាំងការថែទាំសុខភាព ហិរញ្ញវត្ថុ និងផ្សេងៗទៀត។
ជាមួយនឹងការបន្តធ្វើឱ្យប្រសើរឡើងនូវបច្ចេកវិទ្យា AI transformer និងសក្តានុពលសម្រាប់ឧបករណ៍ AI ដ៏រឹងមាំទាំងនេះដើម្បីធ្វើបដិវត្តវិធីដែលមនុស្សដំណើរការ និងយល់ភាសា អនាគតហាក់ដូចជាភ្លឺស្វាង។
សូមផ្ដល់យោបល់