Ua hoʻololi ʻo Natural Language Processing (NLP) i ke ʻano o kā mākou hana ʻana me nā mīkini. I kēia manawa, hiki i kā mākou polokalamu a me kā mākou polokalamu ke hoʻoponopono a hoʻomaopopo i ka ʻōlelo kanaka.
Ma ke ʻano he aʻo ʻana o ka naʻauao artificial, nānā ʻo NLP i ka pilina ʻōlelo kūlohelohe ma waena o nā kamepiula a me nā kānaka.
Kōkua ia i nā mīkini e kālailai, hoʻomaopopo, a hoʻohui pū i ka ʻōlelo kanaka, e wehe ana i kahi plethora o nā noi e like me ka ʻike leo, unuhi mīkini, kālailai manaʻo, a me nā chatbots.
Ua hoʻomohala nui ʻia i nā makahiki i hala iho nei, e ʻae ana i nā mīkini ʻaʻole e hoʻomaopopo wale i ka ʻōlelo akā hoʻohana pū kekahi me ka noʻonoʻo a me ke kūpono.
Ma kēia ʻatikala, e nānā mākou i nā ʻano ʻōlelo NLP like ʻole. No laila, e hahai mai, a e aʻo kākou e pili ana i kēia mau hiʻohiʻona!
1. BERT
ʻO BERT (Bidirectional Encoder Representations from Transformers) he kumu hoʻohālike ʻōlelo ʻokiʻoki i ka Natural Language Processing (NLP). Ua hana ʻia ia ma 2018 e g a ua hoʻokumu ʻia ma ka hoʻolālā Transformer, a kaʻenehana kikowaena i kūkulu ʻia e wehewehe i ka hoʻokomo pū.
He kumu hoʻohālike ʻōlelo i hoʻomaʻamaʻa mua ʻia ʻo BERT, ʻo ia hoʻi, ua aʻo ʻia ʻo ia ma nā puke nui o ka ʻikepili kikokikona e ʻike i nā ʻano ʻōlelo kūlohelohe a me ke ʻano.
He kumu hoʻohālike bidirectional ʻo BERT, ʻo ia hoʻi, hiki iā ia ke hopu i ka pōʻaiapili a me ka manaʻo o nā huaʻōlelo e pili ana i kā lākou mau huaʻōlelo mua a me hope, e ʻoi aku ka holomua ma ka hoʻomaopopo ʻana i ke ʻano o nā ʻōlelo paʻakikī.
Pehea e hana ai?
Hoʻohana ʻia ke aʻo ʻole i mālama ʻia e hoʻomaʻamaʻa iā BERT ma ka nui o ka ʻikepili kikokikona. Loaʻa iā BERT ka hiki ke ʻike i nā huaʻōlelo nalo i loko o kahi huaʻōlelo a i ʻole e hoʻokaʻawale i nā ʻōlelo i ka wā aʻo.
Me ke kōkua o kēia hoʻomaʻamaʻa ʻana, hiki i ka BERT ke hana i nā mea hoʻopili kiʻekiʻe e hiki ke hoʻopili ʻia i nā ʻano hana NLP like ʻole, me ka nānā ʻana i ka manaʻo, ka hoʻokaʻawale ʻana i nā kikokikona, ka pane nīnau, a me nā mea hou aku.
Eia hou, hiki ke hoʻomaikaʻi ʻia ʻo BERT ma kahi papahana ma o ka hoʻohana ʻana i kahi ʻikepili liʻiliʻi e nānā pono i kēlā hana.
Ma hea kahi i hoʻohana ʻia ai ʻo Bert?
Hoʻohana pinepine ʻia ʻo BERT i kahi ākea o nā noi NLP kaulana. ʻO Google, no ka laʻana, ua hoʻohana iā ia e hoʻonui i ka pololei o kāna mau hopena ʻimi hulina, ʻoiai ua hoʻohana ʻo Facebook iā ia e hoʻomaikaʻi i kāna mau ʻōlelo algorithm.
Ua hoʻohana pū ʻia ʻo BERT i ka nānā ʻana i ka manaʻo chatbot, ka unuhi mīkini, a me ka ʻike ʻōlelo kūlohelohe.
Eia kekahi, ua hoʻohana ʻia ʻo BERT ma kekahi ʻike noiʻi nā pepa e hoʻomaikaʻi i ka hana o nā hiʻohiʻona NLP ma nā hana like ʻole. Ma ke ʻano holoʻokoʻa, ua lilo ʻo BERT i mea hana pono no nā mea hoʻonaʻauao NLP a me nā mea hoʻomaʻamaʻa, a ua manaʻo ʻia e hoʻonui hou ʻia kona mana i ka hoʻopaʻi.
2. Roberta
ʻO RoBERTa (Robustly Optimized BERT Approach) he kumu hoʻohālike ʻōlelo no ka hoʻoponopono ʻōlelo kūlohelohe i hoʻokuʻu ʻia e Facebook AI ma 2019. He mana hoʻomaikaʻi ia o BERT i manaʻo ʻia e lanakila i kekahi o nā drawbacks o ka kumu hoʻohālike BERT kumu.
Ua aʻo ʻia ʻo RoBERTa ma ke ʻano like me BERT, koe wale nō ka hoʻohana ʻana o RoBERTa i nā ʻikepili hoʻomaʻamaʻa hou aʻe a hoʻomaikaʻi i ke kaʻina hana aʻo e loaʻa ai ka hana kiʻekiʻe.
ʻO RoBERTa, e like me BERT, he kumu hoʻohālike ʻōlelo i hoʻomaʻamaʻa mua ʻia i hiki ke hoʻoponopono maikaʻi ʻia no ka loaʻa ʻana o ka pololei kiʻekiʻe ma kahi hana i hāʻawi ʻia.
Pehea e hana ai?
Hoʻohana ʻo RoBERTa i kahi hoʻolālā aʻo ponoʻī e hoʻomaʻamaʻa i ka nui o ka ʻikepili kikokikona. Aʻo ʻo ia e wānana i nā huaʻōlelo nalo i nā huaʻōlelo a hoʻokaʻawale i nā ʻōlelo i loko o nā pūʻulu ʻokoʻa i ka wā o ke aʻo ʻana.
Hoʻohana pū ʻo RoBERTa i kekahi mau ala hoʻomaʻamaʻa maʻalahi, e like me ka masking dynamic, e hoʻonui i ka hiki o ke kumu hoʻohālike e hoʻonui i ka ʻikepili hou.
Eia kekahi, no ka hoʻonui ʻana i ka pololei, hoʻohana ʻo RoBERTa i ka nui o ka ʻikepili mai nā kumu like ʻole, me Wikipedia, Common Crawl, a me BooksCorpus.
Ma hea e hiki ai iā mākou ke hoʻohana iā ROBERTa?
Hoʻohana maʻamau ʻia ʻo Roberta no ka nānā ʻana i ka manaʻo, hoʻokaʻawale kikokikona, inoa inoa ʻike, unuhi mīkini, a pane nīnau.
Hiki ke hoʻohana ʻia no ka unuhi ʻana i nā ʻike pili mai ka ʻikepili kikokikona i kūkulu ʻole ʻia e like me nohona Media,, hōʻike manaʻo o nā mea kūʻai aku, nā ʻatikala a me nā kumuwaiwai ʻē aʻe.
Ua hoʻohana ʻia ʻo RoBERTa i nā noi kikoʻī hou aʻe, e like me ka hōʻuluʻulu ʻana i nā palapala, ka hana ʻana i nā kikokikona, a me ka ʻike ʻana i ka haʻiʻōlelo, ma kahi o kēia mau hana NLP maʻamau. Ua hoʻohana ʻia e hoʻomaikaʻi i nā chatbots, nā mea kōkua virtual, a me nā ʻōnaehana kamaʻilio AI ʻē aʻe.
3. OpenAI's GPT-3
ʻO GPT-3 (Generative Pre-trained Transformer 3) he kumu hoʻohālike ʻōlelo OpenAI e hoʻopuka ana i ke kākau like me ke kanaka me ka hoʻohana ʻana i nā ʻenehana aʻo hohonu. ʻO GPT-3 kekahi o nā ʻōlelo hoʻohālike nui loa i kūkulu ʻia, me 175 biliona mau ʻāpana.
Ua aʻo ʻia ke kŘkohu ma ka laulā o ka ʻikepili kikokikona, e like me nā puke, nā pepa, a me nā ʻaoʻao pūnaewele, a hiki iā ia ke hana i kēia manawa ma nā ʻano kumuhana like ʻole.
Pehea e hana ai?
Hoʻopuka ʻo GPT-3 i ka kikokikona me ka hoʻohana ʻana i kahi ala hoʻonaʻauao ʻole. Hōʻike kēia ʻaʻole i aʻo ʻia ke kumu hoʻohālike e hoʻokō i kekahi hana kūikawā, akā e aʻo i ka hana ʻana i nā kikokikona ma ka ʻike ʻana i nā ʻano ma ka nui o ka ʻikepili kikokikona.
Ma ka hoʻomaʻamaʻa ʻana iā ia ma nā ʻikepili liʻiliʻi liʻiliʻi, hiki ke hoʻoponopono maikaʻi ʻia ke kumu hoʻohālike no nā hana kikoʻī e like me ka hoʻopau kikokikona a i ʻole ka nānā ʻana i nā manaʻo.
Nā ʻāpana hoʻohana
Loaʻa iā GPT-3 kekahi mau noi ma ke kahua o ka hana ʻōlelo kūlohelohe. Hiki ke hoʻopau ʻia ke kikokikona, ka unuhi ʻōlelo, ka nānā ʻana i ka manaʻo, a me nā noi ʻē aʻe me ke kumu hoʻohālike. Ua hoʻohana ʻia ʻo GPT-3 no ka hana ʻana i nā mele, nā moʻolelo nūhou, a me nā code kamepiula.
ʻO kekahi o nā noi GPT-3 hiki ke hana i nā chatbots a me nā mea kōkua virtual. No ka mea hiki i ke kŘkohu ke hana i ka kikokikona e like me ke kanaka, ua kūpono loa ia no nā noi kamaʻilio.
Ua hoʻohana pū ʻia ʻo GPT-3 no ka hoʻopuka ʻana i nā ʻike i hoʻohālikelike ʻia no nā pūnaewele a me nā paepae pānaehana kaiaulu, a me ke kōkua ʻana i ka ʻikepili a me ka noiʻi.
4. GPT-4
ʻO GPT-4 ka hiʻohiʻona ʻōlelo hou loa a paʻakikī i ka pūʻulu GPT o OpenAI. Me ka 10 trillion kamahaʻo kamahaʻo, ua wānana ʻia e ʻoi aku ka maikaʻi a ʻoi aku ka maikaʻi o kāna mea mua, GPT-3, a lilo i hoʻokahi o nā kumu hoʻohālike AI ikaika loa o ka honua.
Pehea e hana ai?
Hoʻopuka ʻo GPT-4 i nā kikokikona ʻōlelo kūlohelohe me ka hoʻohana ʻana i ka maʻalahi hōʻano haʻawina hohonu. Hoʻomaʻamaʻa ʻia ʻo ia ma kahi ʻikepili kikokikona nui e pili ana i nā puke, nā puke moʻolelo, a me nā ʻaoʻao pūnaewele, e ʻae iā ia e hana i nā ʻike ma kahi ākea o nā kumuhana.
Eia kekahi, ma ke aʻo ʻana iā ia ma nā ʻikepili liʻiliʻi liʻiliʻi, hiki ke hoʻoponopono maikaʻi ʻia ʻo GPT-4 no nā hana kikoʻī e like me ka pane nīnau a i ʻole ka hōʻuluʻulu ʻana.
Nā ʻāpana hoʻohana
Ma muli o kona nui nui a me kona mau mana kiʻekiʻe, hāʻawi ʻo GPT-4 i nā ʻano noi like ʻole.
ʻO kekahi o kāna mau hoʻohana maikaʻi loa ma ka hoʻoponopono ʻōlelo kūlohelohe, kahi e hoʻohana ʻia ai hoʻomohala i nā chatbots, nā mea kōkua virtual, a me nā ʻōnaehana unuhi ʻōlelo hiki ke hana i nā pane ʻōlelo kūlohelohe i aneane hiki ʻole ke ʻike ʻia mai nā mea i hana ʻia e nā kānaka.
Hiki ke hoʻohana ʻia ka GPT-4 i ka hoʻonaʻauao.
Hiki ke hoʻohana ʻia ka manaʻo no ka hoʻomohala ʻana i nā ʻōnaehana kumu aʻo akamai e hiki ke hoʻololi i ke ʻano o ke aʻo ʻana o kahi haumāna a hāʻawi i nā manaʻo a me ke kōkua. Hiki i kēia ke kōkua i ka hoʻonui ʻana i ka maikaʻi o ka hoʻonaʻauao ʻana a me ka hoʻomaʻamaʻa ʻana i ke aʻo ʻana i nā kānaka a pau.
5. XLNet
He kumu hoʻohālike ʻōlelo hou ʻo XLNet i hana ʻia ma 2019 e Carnegie Mellon University a me nā mea noiʻi Google AI. Hoʻokumu ʻia kona hoʻolālā ʻana i ka hoʻolālā transformer, i hoʻohana ʻia ma BERT a me nā ʻano ʻōlelo ʻē aʻe.
ʻO XLNet, ma ka ʻaoʻao ʻē aʻe, ke hōʻike nei i kahi hoʻolālā hoʻomaʻamaʻa hou e hiki ai iā ia ke hoʻokō i nā hiʻohiʻona ʻē aʻe ma nā ʻano hana hoʻoponopono ʻōlelo kūlohelohe.
Pehea e hana ai?
Ua hoʻokumu ʻia ʻo XLNet me ka hoʻohana ʻana i kahi ʻano hoʻohālike ʻōlelo auto-regressive, e komo pū ana me ka wānana ʻana i ka huaʻōlelo aʻe ma ke kaʻina kikokikona e pili ana i nā mea ma mua.
Ma ka ʻaoʻao ʻē aʻe, ua ʻae ʻo XLNet i kahi ala ʻelua e loiloi i nā hoʻololi ʻana a pau o nā huaʻōlelo i loko o kahi māmalaʻōlelo, e kūʻē i nā kumu hoʻohālike ʻōlelo ʻē aʻe e hoʻohana ana i ka ʻaoʻao hema a hema a hema paha. Hiki iā ia ke hopu i nā pilina huaʻōlelo lōʻihi a hana i nā wānana pololei.
Hoʻohui ʻo XLNet i nā ʻenehana loea e like me ka hoʻopili ʻana i ke kūlana kūlana a me kahi ʻano hana hoʻihoʻi ʻāpana-level me ka hoʻohui ʻana i kāna hoʻolālā hoʻomaʻamaʻa kipi.
Hāʻawi kēia mau hoʻolālā i ka hana holoʻokoʻa o ke kŘkohu a hiki iā ia ke lawelawe i nā hana hoʻoponopono ʻōlelo kūlohelohe, e like me ka unuhi ʻōlelo, ka nānā ʻana i nā manaʻo, a me ka ʻike inoa.
Nā wahi o ka hoʻohana ʻana no XLNet
ʻO nā hiʻohiʻona paʻakikī a me ka hiki ke hoʻololi ʻia o XLNet e lilo ia i mea hana pono no ka nui o nā noi hoʻoponopono ʻōlelo kūlohelohe, me nā chatbots a me nā kōkua virtual, unuhi ʻōlelo, a me ka nānā ʻana i ka manaʻo.
ʻO kāna hoʻomohala mau ʻana a me ka hoʻohui ʻana me nā polokalamu a me nā polokalamu e ʻaneʻane e hopena i nā hihia hoʻohana hoihoi i ka wā e hiki mai ana.
6. ELECTRA
ʻO ELECTRA kahi hoʻohālike hoʻoponopono ʻōlelo kūlohelohe i hana ʻia e nā mea noiʻi Google. Kū ia no "E aʻo maikaʻi i kahi Encoder e hoʻokaʻawale pololei ana i nā mea hoʻololi hou" a kaulana no kona pololei a me ka wikiwiki.
Pehea e hana ai?
Hana ʻo ELECTRA ma ka hoʻololi ʻana i kahi ʻāpana o nā hōʻailona kaʻina kikokikona me nā hōʻailona i hana ʻia. ʻO ke kumu o ke kŘkohu e wānana pono inā he kūpono a he hoʻopunipuni kēlā me kēia hōʻailona pani. Aʻo ʻo ELECTRA e mālama i nā hui ʻokoʻa ma waena o nā huaʻōlelo ma kahi kaʻina kikokikona ma muli o ka maikaʻi.
Eia kekahi, no ka mea, hana ʻo ELECTRA i nā hōʻailona hoʻopunipuni ma mua o ka uhi ʻana i nā hōʻailona maoli, hiki iā ia ke hoʻohana i nā hoʻonohonoho hoʻomaʻamaʻa ʻoi aku ka nui a me nā wā hoʻomaʻamaʻa me ka ʻole o ka ʻike ʻana i nā manaʻo like ʻole e like me nā kumu hoʻohālike maʻamau.
Wahi Hoohana
Hiki ke hoʻohana ʻia ʻo ELECTRA no ka nānā ʻana i ka manaʻo, e pili ana i ka ʻike ʻana i ka leo naʻau o kahi kikokikona.
Me kona hiki ke aʻo mai nā kikokikona i uhi ʻia a i ʻike ʻole ʻia, hiki ke hoʻohana ʻia ʻo ELECTRA no ka hana ʻana i nā hiʻohiʻona loiloi manaʻo pololei i hiki ke hoʻomaopopo maikaʻi i nā ʻōlelo maʻalahi a hāʻawi i nā ʻike koʻikoʻi.
7.T5
ʻO T5, a i ʻole Text-to-Text Transfer Transformer, he kumu hoʻohālike ʻōlelo Google AI Language Transformer. Manaʻo ʻia e hoʻokō i nā hana hoʻoponopono ʻōlelo kūlohelohe like ʻole me ka maʻalahi o ka unuhi ʻana i nā kikokikona hoʻokomo i nā kikokikona hoʻopuka.
Pehea e hana ai?
Kūkulu ʻia ʻo T5 ma luna o ka hale hana Transformer a ua aʻo ʻia me ka hoʻohana ʻana i ke aʻo ʻole i mālama ʻia ma ka nui o ka ʻikepili kikokikona. Ua aʻo ʻia ʻo T5, ʻaʻole like me nā ʻōlelo ma mua, ma nā hana like ʻole, me ka ʻike ʻōlelo, ka pane nīnau, ka hōʻuluʻulu ʻana, a me ka unuhi.
ʻO kēia ka mea hiki iā T5 ke hana i nā hana he nui ma ka hoʻoponopono maikaʻi ʻana i ke kumu hoʻohālike me ka liʻiliʻi o ka hoʻokomo kikoʻī hana.
Ma hea e hoʻohana ai ʻo T5?
Loaʻa iā T5 kekahi mau noi kūpono i ka hana ʻōlelo kūlohelohe. Hiki ke hoʻohana ʻia e hana i nā chatbots, nā mea kōkua virtual, a me nā ʻōnaehana AI kamaʻilio ʻē aʻe i hiki ke hoʻomaopopo a pane i ka hoʻokomo ʻōlelo kūlohelohe. Hiki ke hoʻohana ʻia ka T5 no nā hana e like me ka unuhi ʻōlelo, ka hōʻuluʻulu ʻana, a me ka hoʻopau kikokikona.
Ua hāʻawi ʻia ʻo T5 e Google a ua apo nui ʻia e ke kaiāulu NLP no nā noi like ʻole e like me ka hoʻokaʻawale ʻana i nā kikokikona, pane nīnau, a me ka unuhi mīkini.
8. PaLM
ʻO PaLM (Pathways Language Model) he kumu hoʻohālike ʻōlelo holomua i haku ʻia e Google AI Language. Ua manaʻo ʻia e hoʻomaikaʻi i ka hana o nā ʻano hana ʻōlelo kūlohelohe no ka hoʻokō ʻana i ka koi ulu no nā hana ʻōlelo paʻakikī.
Pehea e hana ai?
E like me nā ʻōlelo hoʻohālike ʻē aʻe i makemake nui ʻia e like me BERT a me GPT, ʻo PaLM kahi kumu hoʻohālike i hoʻololi ʻia. Eia nō naʻe, hoʻokaʻawale kāna hoʻolālā a me ke ʻano hoʻomaʻamaʻa ʻana mai nā hiʻohiʻona ʻē aʻe.
No ka hoʻomaikaʻi ʻana i nā mākau hana a me ka hoʻomaʻamaʻa ʻana, ua aʻo ʻia ʻo PaLM me ka hoʻohana ʻana i kahi paradigm aʻo nui-task e hiki ai i ke kumu hoʻohālike ke aʻo like mai nā pilikia he nui.
Ma hea mākou e hoʻohana ai i ka PaLM?
Hiki ke hoʻohana ʻia ʻo Palm no nā hana NLP like ʻole, ʻoi aku ka poʻe e koi ana i ka ʻike hohonu o ka ʻōlelo kūlohelohe. He mea pono ia no ka nānā ʻana i ka manaʻo, ka pane ʻana i nā nīnau, ka hoʻohālike ʻōlelo, ka unuhi mīkini, a me nā mea ʻē aʻe he nui.
No ka hoʻomaikaʻi ʻana i nā mākau hana ʻōlelo o nā papahana like ʻole a me nā mea hana e like me chatbots, nā mea kōkua virtual, a me nā ʻōnaehana ʻike leo, hiki ke hoʻohui ʻia i loko o lākou.
Ma ke ʻano holoʻokoʻa, he ʻenehana hoʻohiki ʻo PaLM me kahi ākea o nā noi ma muli o kona hiki ke hoʻonui i ka hiki ke hoʻoponopono ʻōlelo.
Panina
ʻO ka hope, ua hoʻololi ke ʻano o ka ʻōlelo kūlohelohe (NLP) i ke ʻano o kā mākou hana ʻana me ka ʻenehana, e ʻae iā mākou e kamaʻilio me nā mīkini ma ke ʻano like me ke kanaka.
Ua ʻoi aku ka pololei a me ka maikaʻi o ka NLP ma mua o ka wā ma mua ma muli o nā holomua hou aʻo aʻo, ʻo ia hoʻi ma ke kūkulu ʻana i nā ʻōlelo hoʻohālike nui e like me GPT-4, RoBERTa, XLNet, ELECTRA, a me PaLM.
Ke holomua nei ʻo NLP, manaʻo paha mākou e ʻike i nā kumu hoʻohālike ʻōlelo ʻoi aku ka ikaika a me ka maʻalahi, me ka hiki ke hoʻololi i ke ʻano o kā mākou hoʻopili ʻana me ka ʻenehana, kamaʻilio me kekahi, a hoʻomaopopo i ka paʻakikī o ka ʻōlelo kanaka.
Waiho i ka Reply