ມື້ນີ້ພວກເຮົາເຫັນການປະຕິວັດໃນຂົງເຂດການປຸງແຕ່ງພາສາທໍາມະຊາດ. ແລະ, ມັນແນ່ນອນວ່າບໍ່ມີອະນາຄົດທີ່ບໍ່ມີປັນຍາປະດິດ. ພວກເຮົາໃຊ້ AI "ຜູ້ຊ່ວຍ" ຕ່າງໆແລ້ວ.
Chatbots ແມ່ນຕົວຢ່າງທີ່ດີທີ່ສຸດໃນກໍລະນີຂອງພວກເຮົາ. ພວກເຂົາເປັນຕົວແທນຂອງຍຸກໃຫມ່ຂອງການສື່ສານ. ແຕ່, ສິ່ງທີ່ເຮັດໃຫ້ພວກເຂົາພິເສດຫຼາຍ?
chatbots ໃນປະຈຸບັນສາມາດເຂົ້າໃຈແລະຕອບຄໍາຖາມພາສາທໍາມະຊາດດ້ວຍຄວາມແມ່ນຍໍາແລະລາຍລະອຽດຄືກັນກັບຜູ້ຊ່ຽວຊານຂອງມະນຸດ. ມັນເປັນເລື່ອງທີ່ຫນ້າຕື່ນເຕັ້ນທີ່ຈະຮຽນຮູ້ກ່ຽວກັບກົນໄກທີ່ເຂົ້າໄປໃນຂະບວນການ.
Buckle ແລະໃຫ້ພວກເຮົາຄົ້ນພົບເຕັກໂນໂລຢີທີ່ຢູ່ເບື້ອງຫລັງຂອງມັນ.
ການດໍານ້ໍາເຂົ້າໄປໃນເຕັກໂນໂລຢີ
AI Transformers ແມ່ນຄໍາສໍາຄັນທີ່ສໍາຄັນໃນຂົງເຂດນີ້. ພວກເຂົາເຈົ້າແມ່ນຄ້າຍຄື ເຄືອຂ່າຍ neural ທີ່ໄດ້ປະຕິວັດການປຸງແຕ່ງພາສາທໍາມະຊາດ. ໃນຄວາມເປັນຈິງ, ມີຄວາມຂະຫນານໃນການອອກແບບຢ່າງຫຼວງຫຼາຍລະຫວ່າງເຄື່ອງປ່ຽນ AI ແລະເຄືອຂ່າຍ neural.
ທັງສອງແມ່ນປະກອບດ້ວຍຫຼາຍຊັ້ນຂອງຫນ່ວຍປະມວນຜົນທີ່ປະຕິບັດຊຸດຂອງການຄິດໄລ່ເພື່ອປ່ຽນຂໍ້ມູນປ້ອນເຂົ້າໄປໃນການຄາດຄະເນເປັນຜົນຜະລິດ. ໃນບົດຂຽນນີ້, ພວກເຮົາຈະເບິ່ງພະລັງງານຂອງ AI Transformers ແລະວິທີທີ່ພວກມັນປ່ຽນແປງໂລກອ້ອມຕົວພວກເຮົາ.
ທ່າແຮງຂອງການປຸງແຕ່ງພາສາທໍາມະຊາດ
ໃຫ້ເລີ່ມຕົ້ນດ້ວຍພື້ນຖານ. ພວກເຮົາໄດ້ຍິນມັນຢູ່ທົ່ວທຸກແຫ່ງເກືອບ. ແຕ່, ການປຸງແຕ່ງພາສາທໍາມະຊາດແມ່ນຫຍັງ?
ມັນເປັນສ່ວນຫນຶ່ງຂອງ ປັນຍາປະດິດ ທີ່ສຸມໃສ່ການຕິດຕໍ່ພົວພັນຂອງມະນຸດແລະເຄື່ອງຈັກໂດຍຜ່ານການນໍາໃຊ້ພາສາທໍາມະຊາດ. ເປົ້າຫມາຍແມ່ນເພື່ອໃຫ້ຄອມພິວເຕີເພື່ອຮັບຮູ້, ຕີຄວາມຫມາຍ, ແລະຜະລິດຕະພັນພາສາຂອງມະນຸດໃນລັກສະນະທີ່ມີຄວາມຫມາຍແລະແທ້ຈິງ.
ການຮັບຮູ້ສຽງເວົ້າ, ການແປພາສາ, ການວິເຄາະຄວາມຮູ້ສຶກ, ແລະການສະຫຼຸບຂໍ້ຄວາມແມ່ນຕົວຢ່າງທັງຫມົດຂອງຄໍາຮ້ອງສະຫມັກ NLP. ຕົວແບບ NLP ແບບດັ້ງເດີມ, ໃນທາງກົງກັນຂ້າມ, ໄດ້ຕໍ່ສູ້ເພື່ອເຂົ້າໃຈການເຊື່ອມໂຍງທີ່ສັບສົນລະຫວ່າງຄໍາສັບຕ່າງໆໃນປະໂຫຍກ. ນີ້ເຮັດໃຫ້ລະດັບຄວາມຖືກຕ້ອງສູງໃນວຽກງານ NLP ຫຼາຍຢ່າງເປັນໄປບໍ່ໄດ້.
ນີ້ແມ່ນເວລາທີ່ AI Transformers ເຂົ້າໄປໃນຮູບ. ໂດຍຂະບວນການເອົາໃຈໃສ່ຕົນເອງ, ການຫັນປ່ຽນສາມາດບັນທຶກຄວາມເພິ່ງພາອາໄສໃນໄລຍະຍາວແລະການເຊື່ອມໂຍງລະຫວ່າງຄໍາສັບຕ່າງໆໃນປະໂຫຍກຫນຶ່ງ. ວິທີການນີ້ເຮັດໃຫ້ຕົວແບບເລືອກເຂົ້າຮ່ວມໃນພາກສ່ວນຕ່າງໆຂອງລໍາດັບການປ້ອນຂໍ້ມູນ. ດັ່ງນັ້ນ, ມັນສາມາດເຂົ້າໃຈສະພາບການແລະຄວາມ ໝາຍ ຂອງແຕ່ລະ ຄຳ ໃນປະໂຫຍກ.
ສິ່ງທີ່ແນ່ນອນແມ່ນຕົວແບບການຫັນເປັນ
AI transformer ເປັນ ການຮຽນຮູ້ລຶກລັບ ສະຖາປັດຕະຍະກໍາທີ່ເຂົ້າໃຈແລະປຸງແຕ່ງຂໍ້ມູນປະເພດຕ່າງໆ. ມັນດີເລີດໃນການກໍານົດວິທີການຫຼາຍບິດຂອງຂໍ້ມູນທີ່ກ່ຽວຂ້ອງກັບກັນແລະກັນ, ເຊັ່ນວ່າຄໍາສັບຕ່າງໆໃນປະໂຫຍກໃດນຶ່ງຖືກເຊື່ອມຕໍ່ກັນຫຼືວ່າພາກສ່ວນຕ່າງໆຂອງຮູບພາບທີ່ເຫມາະສົມກັນແນວໃດ.
ມັນເຮັດວຽກໂດຍການແບ່ງຂໍ້ມູນອອກເປັນນ້ອຍໆ ແລະຈາກນັ້ນເບິ່ງອົງປະກອບທັງໝົດເຫຼົ່ານັ້ນໃນເວລາດຽວກັນ. ມັນຄືກັບວ່າຫຸ່ນຍົນນ້ອຍຈໍານວນຫລາຍກໍາລັງຮ່ວມມືເພື່ອເຂົ້າໃຈຂໍ້ມູນ. ຕໍ່ໄປ, ເມື່ອມັນຮູ້ທຸກສິ່ງທຸກຢ່າງ, ມັນຈະປະກອບອົງປະກອບທັງຫມົດຂອງການຕອບສະຫນອງຫຼືຜົນໄດ້ຮັບ.
AI transformers ແມ່ນມີຄຸນຄ່າທີ່ສຸດ. ພວກເຂົາສາມາດເຂົ້າໃຈສະພາບການແລະການເຊື່ອມໂຍງໃນໄລຍະຍາວລະຫວ່າງຂໍ້ມູນທີ່ຫຼາກຫຼາຍ. ນີ້ແມ່ນສິ່ງສໍາຄັນສໍາລັບວຽກງານເຊັ່ນ: ການແປພາສາພາສາ, ສະຫຼຸບສັງລວມ, ແລະການຕອບຄໍາຖາມ. ດັ່ງນັ້ນ, ພວກເຂົາເຈົ້າແມ່ນສະຫມອງທີ່ຢູ່ເບື້ອງຫຼັງຫຼາຍສິ່ງທີ່ຫນ້າສົນໃຈທີ່ AI ສາມາດເຮັດສໍາເລັດ!
ເອົາ ໃຈ ໃສ່ ແມ່ນ ທັງ ຫມົດ ທີ່ ທ່ານ ຕ້ອງ ການ
ຄໍາບັນຍາຍ "ເອົາໃຈໃສ່ແມ່ນສິ່ງທີ່ທ່ານຕ້ອງການ" ຫມາຍເຖິງສິ່ງພິມປີ 2017 ທີ່ສະເຫນີຮູບແບບການຫັນປ່ຽນ. ມັນໄດ້ປະຕິວັດລະບຽບວິໄນຂອງການປຸງແຕ່ງພາສາທໍາມະຊາດ (NLP).
ຜູ້ຂຽນຂອງການຄົ້ນຄວ້ານີ້ກ່າວວ່າກົນໄກການເອົາໃຈໃສ່ຕົນເອງຂອງຕົວແບບການຫັນເປັນມີຄວາມເຂັ້ມແຂງພຽງພໍທີ່ຈະເອົາບົດບາດຂອງການປະກົດຕົວແບບທໍາມະດາແລະ. ເຄືອຂ່າຍ neural convolutional ນໍາໃຊ້ສໍາລັບວຽກງານ NLP.
ການເອົາໃຈໃສ່ຕົນເອງຢ່າງແທ້ຈິງແມ່ນຫຍັງ?
ມັນເປັນວິທີການທີ່ອະນຸຍາດໃຫ້ຕົວແບບເພື່ອສຸມໃສ່ພາກສ່ວນລໍາດັບການປ້ອນຂໍ້ມູນຕ່າງໆໃນເວລາທີ່ຜະລິດການຄາດຄະເນ.
ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ຄວາມສົນໃຈຂອງຕົນເອງເຮັດໃຫ້ຕົວແບບສາມາດຄິດໄລ່ຊຸດຂອງຄະແນນຄວາມສົນໃຈສໍາລັບແຕ່ລະອົງປະກອບທີ່ກ່ຽວຂ້ອງກັບອົງປະກອບອື່ນໆທັງຫມົດ, ຊ່ວຍໃຫ້ຕົວແບບສາມາດດຸ່ນດ່ຽງຄວາມສໍາຄັນຂອງແຕ່ລະອົງປະກອບປ້ອນຂໍ້ມູນ.
ໃນວິທີການທີ່ອີງໃສ່ການຫັນເປັນ, ການເອົາໃຈໃສ່ຕົນເອງດໍາເນີນການດັ່ງຕໍ່ໄປນີ້:
ລຳດັບການປ້ອນຂໍ້ມູນຖືກຝັງເຂົ້າໄປໃນຊຸດຂອງ vectors, ອັນໜຶ່ງສຳລັບສະມາຊິກແຕ່ລະລຳດັບ.
ສໍາລັບແຕ່ລະອົງປະກອບໃນລໍາດັບ, ແບບຈໍາລອງຈະສ້າງສາມຊຸດ vectors: vector query, vector ທີ່ສໍາຄັນ, ແລະ vector ມູນຄ່າ.
vector query ແມ່ນສົມທຽບກັບ vectors ທີ່ສໍາຄັນທັງຫມົດ, ແລະຄວາມຄ້າຍຄືກັນໄດ້ຖືກຄິດໄລ່ໂດຍໃຊ້ dot ຜະລິດຕະພັນ.
ຄະແນນຄວາມສົນໃຈທີ່ຜົນໄດ້ຮັບແມ່ນປົກກະຕິໂດຍໃຊ້ຟັງຊັນ softmax, ເຊິ່ງສ້າງຊຸດນ້ໍາຫນັກທີ່ຊີ້ບອກເຖິງຄວາມສໍາຄັນຂອງແຕ່ລະຊິ້ນໃນລໍາດັບ.
ເພື່ອສ້າງການສະແດງຜົນສຸດທ້າຍ, vectors ມູນຄ່າແມ່ນຄູນດ້ວຍນ້ໍາຫນັກຄວາມສົນໃຈແລະສະຫຼຸບ.
ຮູບແບບທີ່ອີງໃສ່ການຫັນເປັນ, ເຊິ່ງນໍາໃຊ້ຄວາມສົນໃຈໃນຕົວເອງ, ອາດຈະປະສົບຜົນສໍາເລັດໃນການຈັບຄວາມສໍາພັນໃນໄລຍະຍາວໃນລໍາດັບການປ້ອນຂໍ້ມູນໂດຍບໍ່ຂຶ້ນກັບປ່ອງຢ້ຽມທີ່ມີຄວາມຍາວຄົງທີ່, ເຮັດໃຫ້ມັນເປັນປະໂຫຍດໂດຍສະເພາະສໍາລັບຄໍາຮ້ອງສະຫມັກການປຸງແຕ່ງພາສາທໍາມະຊາດ.
ຍົກຕົວຢ່າງ
ສົມມຸດວ່າພວກເຮົາມີລໍາດັບການປ້ອນຂໍ້ມູນຫົກໂທເຄັນ: "ແມວນັ່ງຢູ່ເທິງເສື່ອ." ແຕ່ລະ token ອາດຈະສະແດງເປັນ vector, ແລະລໍາດັບ input ສາມາດເຫັນໄດ້ດັ່ງຕໍ່ໄປນີ້:
ຕໍ່ໄປ, ສໍາລັບແຕ່ລະ token, ພວກເຮົາຈະສ້າງສາມຊຸດ vectors: query vector, key vector, ແລະ vector value. vector token ຝັງຖືກຄູນດ້ວຍສາມ matrices ນ້ໍາຫນັກທີ່ໄດ້ຮຽນຮູ້ເພື່ອໃຫ້ຜົນໄດ້ຮັບ vectors ເຫຼົ່ານີ້.
ສໍາລັບຕົວຢ່າງທໍາອິດ token “The”, ສໍາລັບການຍົກຕົວຢ່າງ, query, key, and value vectors ຈະເປັນ:
Query vector: [0.4, -0.2, 0.1]
vector ຫຼັກ: [0.2, 0.1, 0.5]
ຄ່າ vector: [0.1, 0.2, 0.3]
ຄະແນນຄວາມສົນໃຈລະຫວ່າງແຕ່ລະຄູ່ຂອງ tokens ໃນລໍາດັບການປ້ອນຂໍ້ມູນແມ່ນຄິດໄລ່ໂດຍກົນໄກການເອົາໃຈໃສ່ຕົນເອງ. ສໍາລັບຕົວຢ່າງ, ຄະແນນຄວາມສົນໃຈລະຫວ່າງ tokens 1 ແລະ 2 "The" ຈະຖືກຄິດໄລ່ເປັນຈຸດຜະລິດຕະພັນຂອງການສອບຖາມແລະ vectors ທີ່ສໍາຄັນ:
ຄະແນນຄວາມສົນໃຈ = dot_product(ວິກຄິວຣີຂອງໂທເຄັນ 1, ສັນຍາລັກຫຼັກຂອງໂທເຄັນ 2)
= (0.4*0.8) + (-0.2*0.2) + (0.1*0.1) .
= 0.31
ຄະແນນຄວາມສົນໃຈເຫຼົ່ານີ້ສະແດງໃຫ້ເຫັນຄວາມກ່ຽວຂ້ອງຂອງແຕ່ລະ token ໃນລໍາດັບກັບອັນອື່ນ.
ສຸດທ້າຍ, ສໍາລັບແຕ່ລະ token, ການເປັນຕົວແທນຜົນຜະລິດແມ່ນສ້າງໂດຍການເອົານ້ໍາຫນັກຂອງ vectors ມູນຄ່າ, ທີ່ມີນ້ໍາຫນັກທີ່ກໍານົດໂດຍຄະແນນຄວາມສົນໃຈ. ການເປັນຕົວແທນຜົນຜະລິດສໍາລັບ token ທໍາອິດ "The," ຕົວຢ່າງ, ຈະເປັນ:
Output vector ສໍາລັບ Token 1 = (ຄະແນນຄວາມສົນໃຈກັບ Token 1) * ມູນຄ່າ vector ສໍາລັບ Token 2
+ (ຄະແນນຄວາມສົນໃຈກັບ Token 3) * ມູນຄ່າ vector ສໍາລັບ Token 3
+ (ຄະແນນຄວາມສົນໃຈກັບ Token 4) * ມູນຄ່າ vector ສໍາລັບ Token 4
+ (ຄະແນນຄວາມສົນໃຈກັບ Token 5) * ມູນຄ່າ vector ສໍາລັບ Token 5
+ (ຄະແນນຄວາມສົນໃຈກັບ Token 6) * ມູນຄ່າ vector ສໍາລັບ Token 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
ເປັນຜົນມາຈາກການເອົາໃຈໃສ່ຕົນເອງ, ຮູບແບບທີ່ອີງໃສ່ການຫັນປ່ຽນສາມາດເລືອກທີ່ຈະເຂົ້າຮ່ວມກັບພາກສ່ວນທີ່ແຕກຕ່າງກັນຂອງລໍາດັບວັດສະດຸປ້ອນໃນເວລາທີ່ສ້າງລໍາດັບຜົນຜະລິດ.
ຄໍາຮ້ອງສະຫມັກແມ່ນຫຼາຍກ່ວາທີ່ທ່ານຄິດ
ເນື່ອງຈາກຄວາມສາມາດໃນການປັບຕົວແລະຄວາມສາມາດໃນການຈັດການກັບວຽກງານ NLP ທີ່ຫລາກຫລາຍ, ເຊັ່ນ: ການແປພາສາເຄື່ອງຈັກ, ການວິເຄາະຄວາມຮູ້ສຶກ, ການສະຫຼຸບຂໍ້ຄວາມ, ແລະອື່ນໆ, ເຄື່ອງຫັນເປັນ AI ໄດ້ເຕີບໂຕໃນຄວາມນິຍົມໃນຊຸມປີທີ່ຜ່ານມາ.
ເຄື່ອງປ່ຽນ AI ໄດ້ຖືກນໍາໃຊ້ໃນຫຼາຍໆໂດເມນ, ລວມທັງການຮັບຮູ້ຮູບພາບ, ລະບົບການແນະນໍາ, ແລະແມ້ກະທັ້ງການຄົ້ນພົບຢາ, ນອກເຫນືອຈາກຄໍາຮ້ອງສະຫມັກທີ່ໃຊ້ພາສາຄລາສສິກ.
ໝໍ້ແປງ AI ມີການນຳໃຊ້ເກືອບບໍ່ຈຳກັດ ເພາະມັນສາມາດຖືກປັບໃຫ້ເໝາະສົມກັບພື້ນທີ່ບັນຫາ ແລະຂໍ້ມູນປະເພດຕ່າງໆ. AI transformers, ມີຄວາມສາມາດໃນການວິເຄາະລໍາດັບຂໍ້ມູນທີ່ສັບສົນແລະເກັບກໍາຄວາມສໍາພັນໃນໄລຍະຍາວ, ຖືກກໍານົດໃຫ້ເປັນປັດໃຈຂັບເຄື່ອນທີ່ສໍາຄັນໃນການພັດທະນາຄໍາຮ້ອງສະຫມັກ AI ໃນຊຸມປີຕໍ່ໄປ.
ການປຽບທຽບກັບສະຖາປັດຕະຍະກໍາເຄືອຂ່າຍ neural ອື່ນໆ
ຍ້ອນວ່າພວກເຂົາສາມາດວິເຄາະລໍາດັບການປ້ອນຂໍ້ມູນແລະຈັບຄວາມສໍາພັນໃນໄລຍະຍາວໃນຂໍ້ຄວາມ, ເຄື່ອງແປງ AI ແມ່ນເຫມາະສົມໂດຍສະເພາະສໍາລັບການປຸງແຕ່ງພາສາທໍາມະຊາດເມື່ອປຽບທຽບກັບຄໍາຮ້ອງສະຫມັກເຄືອຂ່າຍ neural ອື່ນໆ.
ບາງສະຖາປັດຕະຍະກໍາເຄືອຂ່າຍ neural, ເຊັ່ນ: ເຄືອຂ່າຍ neural convolutional (CNN) ແລະເຄືອຂ່າຍ neural recurrent (RNNs), ໃນທາງກົງກັນຂ້າມ, ແມ່ນເຫມາະສົມກັບວຽກງານທີ່ກ່ຽວຂ້ອງກັບການປຸງແຕ່ງວັດສະດຸປ້ອນທີ່ມີໂຄງສ້າງ, ເຊັ່ນຮູບພາບຫຼືຂໍ້ມູນຊຸດເວລາ.
ອະນາຄົດແມ່ນເບິ່ງສົດໃສ
ອະນາຄົດຂອງ AI transformers ເບິ່ງຄືວ່າສົດໃສ. ຂົງເຂດໜຶ່ງຂອງການສຶກສາທີ່ພວມດຳເນີນຢູ່ແມ່ນການພັດທະນາຕົວແບບທີ່ມີພະລັງຫຼາຍຂຶ້ນເປັນກ້າວໆ ເພື່ອສາມາດຈັດການວຽກງານທີ່ສັບສົນທີ່ນັບມື້ນັບໄດ້ຮັບ.
ຍິ່ງໄປກວ່ານັ້ນ, ມີຄວາມພະຍາຍາມທີ່ຈະເຊື່ອມຕໍ່ AI transformers ກັບເຕັກໂນໂລຊີ AI ອື່ນໆ, ເຊັ່ນ: ການຮຽນຮູ້ການເສີມສ້າງ, ເພື່ອສະຫນອງຄວາມສາມາດໃນການຕັດສິນໃຈທີ່ກ້າວຫນ້າທາງດ້ານຫຼາຍກວ່າເກົ່າ.
ທຸກໆອຸດສາຫະກໍາພະຍາຍາມໃຊ້ທ່າແຮງຂອງ AI ເພື່ອຊຸກຍູ້ການປະດິດສ້າງແລະບັນລຸການແຂ່ງຂັນ. ດັ່ງນັ້ນ, ເຄື່ອງຫັນປ່ຽນ AI ມີແນວໂນ້ມທີ່ຈະຖືກລວມເຂົ້າໃນຫຼາຍໆຄໍາຮ້ອງສະຫມັກ, ລວມທັງການດູແລສຸຂະພາບ, ການເງິນ, ແລະອື່ນໆ.
ດ້ວຍການປັບປຸງຢ່າງຕໍ່ເນື່ອງໃນເຕັກໂນໂລຊີ AI transformer ແລະທ່າແຮງສໍາລັບເຄື່ອງມື AI ທີ່ເຂັ້ມແຂງເຫຼົ່ານີ້ເພື່ອປະຕິວັດວິທີການຂອງມະນຸດແລະເຂົ້າໃຈພາສາ, ອະນາຄົດເບິ່ງຄືວ່າສົດໃສ.
ອອກຈາກ Reply ເປັນ