I kēia lā ke ʻike nei mākou i ka loli ʻana o ka ʻōlelo kūlohelohe. A, he mea maopopo ʻaʻohe mea e hiki mai ana me ka ʻole o ka naʻauao. Ke hoʻohana nei mākou i nā "kōkua" AI.
ʻO Chatbots nā hiʻohiʻona maikaʻi loa i kā mākou hihia. Hōʻike lākou i ke au hou o ke kamaʻilio. Akā, he aha ka mea i ʻokoʻa loa iā lākou?
Hiki i nā chatbots o kēia manawa ke hoʻomaopopo a pane i nā nīnau ʻōlelo kūlohelohe me ka pololei like a me ka kikoʻī e like me nā loea kanaka. He mea hauʻoli ke aʻo ʻana e pili ana i nā mīkini e komo i ke kaʻina hana.
E ʻimi a ʻike kākou i ka ʻenehana ma hope o ia.
Luʻu i ka ʻenehana
ʻO AI Transformers kahi huaʻōlelo nui ma kēia wahi. Ua like lākou nā hanana laulā i hoʻololi i ka hana ʻōlelo kūlohelohe. I ka ʻoiaʻiʻo, nui nā hoʻolālā hoʻolālā ma waena o nā mea hoʻololi AI a me nā pūnaewele neural.
Hana ʻia nā ʻāpana ʻelua o nā ʻāpana hana e hana ana i nā helu helu e hoʻohuli i ka ʻikepili hoʻokomo i nā wānana e like me ka hopena. Ma kēia pou, e nānā mākou i ka mana o AI Transformers a pehea lākou e hoʻololi ai i ka honua a puni mākou.
ʻO ka hiki o ka Hoʻoponopono ʻŌlelo Kūlohelohe
E hoʻomaka kākou me nā kumu. Lohe mākou ma nā wahi āpau kokoke. Akā, he aha ka hana ʻōlelo kūlohelohe?
He mahele ia o ʻimi hoʻopunipuni manao e kālele ana i ka launa pū ʻana o nā kānaka a me nā mīkini ma o ka hoʻohana ʻana i ka ʻōlelo kūlohelohe. ʻO ka pahuhopu ka ʻae ʻana i nā kamepiula e ʻike, wehewehe, a hoʻopuka i ka ʻōlelo kanaka ma ke ʻano kūpono a me ka ʻoiaʻiʻo.
ʻIke ʻōlelo, unuhi ʻōlelo, kālailai manaʻo, a me ka hōʻuluʻulu kikokikona he mau laʻana o nā noi NLP. ʻO nā hiʻohiʻona NLP kuʻuna, ma ka ʻaoʻao ʻē aʻe, ua paʻakikī i ka hoʻopaʻa ʻana i nā loulou paʻakikī ma waena o nā huaʻōlelo ma kahi ʻōlelo. ʻO kēia ka mea hiki ʻole ke kiʻekiʻe o ka pololei i nā hana NLP he nui.
ʻO kēia ke komo ʻana o AI Transformers i ke kiʻi. Ma ke kaʻina hana ponoʻī, hiki i nā mea hoʻololi ke hoʻopaʻa i nā hilinaʻi lōʻihi a me nā loulou ma waena o nā huaʻōlelo ma kahi huaʻōlelo. Hiki i kēia ʻano hana ke koho i nā ʻāpana like ʻole o ke kaʻina hoʻokomo. No laila, hiki iā ia ke hoʻomaopopo i ka pōʻaiapili a me ke ʻano o kēlā me kēia huaʻōlelo i loko o kahi ʻōlelo.
He aha ke ʻano o nā Transformers
ʻO kahi mea hoʻololi AI he haʻawina hohonu hale hoʻolālā e hoʻomaopopo a hana i nā ʻano ʻike like ʻole. ʻOi aku ka maikaʻi ma ka hoʻoholo ʻana i ka pili ʻana o nā ʻāpana ʻike he nui kekahi i kekahi, e like me ka pili ʻana o nā huaʻōlelo ʻokoʻa i loko o kahi māmalaʻōlelo a i ʻole ka hui ʻana o nā ʻāpana ʻokoʻa o ke kiʻi.
Hoʻohana ia ma ka hoʻokaʻawale ʻana i ka ʻike i nā ʻāpana liʻiliʻi a laila nānā i kēlā mau ʻāpana i ka manawa hoʻokahi. Me he mea lā e hui pū ana nā robots liʻiliʻi e hoʻomaopopo i ka ʻikepili. A laila, ke ʻike ʻo ia i nā mea āpau, hoʻohui hou ʻo ia i nā ʻāpana āpau e hāʻawi i kahi pane a i ʻole ka hopena.
He waiwai nui nā mea hoʻololi AI. Hiki iā lākou ke hopu i ka pōʻaiapili a me nā loulou lōʻihi ma waena o nā ʻike like ʻole. He mea koʻikoʻi kēia no nā hana e like me ka unuhi ʻōlelo, ka hōʻuluʻulu ʻana, a me ka pane nīnau. No laila, ʻo lākou ka lolo ma hope o ka nui o nā mea hoihoi e hiki ai iā AI ke hoʻokō!
ʻO ka nānā wale nō kāu e pono ai
ʻO ka subtitle "Attention is All You Need" e pili ana i kahi paʻi 2017 i manaʻo i ke kumu hoʻohālike. Ua hoʻololi ʻo ia i ke aʻo ʻana o ka hana ʻōlelo kūlohelohe (NLP).
Ua ʻōlelo nā mea kākau o kēia noiʻi ua lawa ka ikaika o ke ʻano hoʻohālike o ka transformer no ka lawe ʻana i ke ʻano o ka hana maʻamau. nā pūnaewele neural convolutional hoʻohana ʻia no nā hana NLP.
He aha ka Pono Pono?
He ala ia e hiki ai i ke kŘkohu ke nānā aku i nā ʻāpana kaʻina hoʻokomo like ʻole i ka wā e hana ana i nā wānana.
Ma nā huaʻōlelo ʻē aʻe, ʻo ka nānā ponoʻī e hiki ai i ke kumu hoʻohālike ke helu i nā helu nānā no kēlā me kēia mea e pili ana i nā mea ʻē aʻe a pau, e ʻae ana i ke kumu hoʻohālike e kaulike i ke ʻano o kēlā me kēia mea hoʻokomo.
Ma kahi ala transformer-based, hana ka nānā ponoʻī e like me kēia:
Hoʻokomo mua ʻia ke kaʻina hoʻokomo i loko o ke ʻano o nā vectors, hoʻokahi no kēlā me kēia lālā kaʻina.
No kēlā me kēia mea i loko o ke kaʻina, hana ke kumu hoʻohālike i ʻekolu pūʻulu o nā vectors: ʻo ka huli hulina, ka vector kī, a me ka vector waiwai.
Hoʻohālikelike ʻia ka vector hulina me nā vectors kī āpau, a ua helu ʻia nā mea like me ka hoʻohana ʻana i kahi huahana kiko.
Hoʻohana maʻamau ʻia nā helu manaʻo i ka hopena me ka hana softmax, e hana ana i kahi pūʻulu o nā kaupaona e hōʻike ana i ke koʻikoʻi pili o kēlā me kēia ʻāpana i ke kaʻina.
No ka hana ʻana i ka hōʻike hoʻopuka hope, hoʻonui ʻia nā vectors waiwai me nā paona nānā a hōʻuluʻulu ʻia.
Hiki i nā kumu hoʻohālike hoʻololi, e hoʻohana ana i ka nānā ponoʻī, hiki ke hopu maikaʻi i nā pilina lōʻihi ma nā kaʻina hoʻokomo me ka ʻole o ka hilinaʻi ʻana i nā puka makani pōʻaiapili paʻa, e hoʻohana pono iā lākou no nā noi hana ʻōlelo kūlohelohe.
la'ana
Manaʻo mākou he ʻeono-token sequence input: "Noho ka pōpoki ma ka moena." Hiki ke hōʻike ʻia kēlā me kēia hōʻailona ma ke ʻano he vector, a hiki ke ʻike ʻia ke kaʻina hoʻokomo penei:
A laila, no kēlā me kēia hōʻailona, e kūkulu mākou i ʻekolu pūʻulu o nā vectors: ka vector hulina, ka vector kī, a me ka vector waiwai. Hoʻonui ʻia ka vector token i hoʻokomo ʻia me ʻekolu matrices paona i aʻo ʻia e loaʻa ai kēia mau vectors.
No ka hōʻailona mua "The," no ka laʻana, ʻo ka nīnau, kī, a me nā vectors waiwai:
Vector hulina: [0.4, -0.2, 0.1]
Vektor kī: [0.2, 0.1, 0.5]
Vektor waiwai: [0.1, 0.2, 0.3]
Hoʻopili ʻia nā helu manaʻo ma waena o kēlā me kēia pālua o nā hōʻailona ma ke kaʻina hoʻokomo e ka mīkini nānā ponoʻī. No ka laʻana, e helu ʻia ka helu manaʻo ma waena o nā hōʻailona 1 a me 2 "The" ma ke ʻano he hua kiko o kā lākou nīnau a me nā vectors kī:
Ka helu manaʻo = dot_product(Nīnau vector o Token 1, Key vector o Token 2)
= (0.4 * 0.8) + (-0.2 * 0.2) + (0.1 * 0.1)
= 0.31
Hōʻike kēia mau helu nānā i ka pili pili o kēlā me kēia hōʻailona ma ke kaʻina i nā mea ʻē aʻe.
ʻO ka hope, no kēlā me kēia hōʻailona, hana ʻia ka hōʻike hoʻopuka ma ka lawe ʻana i ka huina kaumaha o nā vectors waiwai, me nā kaupaona i hoʻoholo ʻia e nā helu nānā. ʻO ka hōʻike hoʻopuka no ka hōʻailona mua "The," no ka laʻana:
Vector pukana no Token 1 = (Ka helu manaʻo me Token 1) * Vector waiwai no Token 2
+ (Ka helu manaʻo me ka Token 3) * Vector waiwai no Token 3
+ (Ka helu manaʻo me ka Token 4) * Vector waiwai no Token 4
+ (Ka helu manaʻo me ka Token 5) * Vector waiwai no Token 5
+ (Ka helu manaʻo me ka Token 6) * Vector waiwai no Token 6
= (0.31 * [0.1, 0.2, 0.3]) + (0.25 * [0.2, -0.1, 0.7]) + (0.08 * [0.3, 0.5, -0.1]) + (0.14 * [0.1, 0.3, -0.2] ) + (0.22 * [0.6, -0.3, 0.4])
= [0.2669, 0.1533, 0.2715]
Ma muli o ka nānā pono ʻana, hiki i ke kumu hoʻohālike hoʻololi ke koho e hele i nā ʻāpana like ʻole o ke kaʻina hoʻokomo i ka wā e hana ai i ke kaʻina puka.
ʻOi aku nā noi ma mua o kou manaʻo
Ma muli o ko lākou kūpono a me ka hiki ke mālama i nā hana NLP ākea, e like me ka unuhi mīkini, ka nānā ʻana i ka manaʻo, ka hōʻuluʻulu kikokikona, a me nā mea hou aʻe, ua ulu nui nā mea hoʻololi AI i nā makahiki i hala.
Ua hoʻohana ʻia nā mea hoʻololi AI ma nā ʻano kikowaena like ʻole, me ka ʻike ʻana i ke kiʻi, nā ʻōnaehana paipai, a me ka ʻike ʻana i ka lāʻau lapaʻau, me ka hoʻohui ʻana i nā noi ma ka ʻōlelo maʻamau.
ʻAʻole hiki ke hoʻohana ʻia nā mea hoʻololi AI no ka mea hiki ke hoʻohālikelike ʻia i nā wahi pilikia a me nā ʻano ʻikepili. ʻO nā mea hoʻololi AI, me ko lākou hiki ke kālailai i nā kaʻina ʻikepili paʻakikī a hopu i nā pilina lōʻihi, ua hoʻonohonoho ʻia e lilo i kumu hoʻoikaika nui i ka hoʻomohala ʻana i nā noi AI i nā makahiki e hiki mai ana.
Hoʻohālikelike me nā ʻOihana Hoʻolālā Neural Network ʻē aʻe
Hiki iā lākou ke kālailai i nā kaʻina hoʻokomo a hopu i nā pilina lōʻihi ma ka kikokikona, kūpono loa nā mea hoʻololi AI no ka hoʻoponopono ʻōlelo kūlohelohe ke hoʻohālikelike ʻia me nā noi pūnaewele neural.
ʻO kekahi mau hale hana neural network, e like me convolutional neural networks (CNNs) a me recurrent neural networks (RNNs), ma ka ʻaoʻao ʻē aʻe, ʻoi aku ka maikaʻi o nā hana e pili ana i ka hoʻoili ʻana o ka hoʻokomo i kūkulu ʻia, e like me nā kiʻi a i ʻole ka ʻikepili manawa.
Ke nānā nei ka wā e hiki mai ana
ʻIke ʻia ka wā e hiki mai ana o nā mea hoʻololi AI. ʻO kahi ʻāpana o ka noiʻi e hoʻomau nei ka hoʻomohala ʻana i nā hiʻohiʻona ikaika e hiki ke lawelawe i nā hana paʻakikī.
Eia kekahi, ke hana ʻia nei nā hoʻāʻo e hoʻopili i nā mea hoʻololi AI me nā ʻenehana AI ʻē aʻe, e like me Hoʻoikaika i ka aʻo, e hoʻolako i nā mana hoʻoholo kiʻekiʻe.
Ke hoʻāʻo nei kēlā me kēia ʻoihana e hoʻohana i ka hiki o AI e hoʻokau i ka hana hou a hoʻokō i kahi pae hoʻokūkū. No laila, hiki ke hoʻohui ʻia nā mea hoʻololi AI i nā ʻano noi like ʻole, me ka mālama olakino, kālā, a me nā mea ʻē aʻe.
Me ka hoʻomau ʻana o ka hoʻomaikaʻi ʻana i ka ʻenehana transformer AI a me ka hiki i kēia mau mea hana AI ikaika e hoʻololi i ke ʻano o ke kanaka e hana ai a hoʻomaopopo i ka ʻōlelo, ʻike ʻia ka wā e hiki mai ana.
Waiho i ka Reply