ʻO kahi pilikia maʻamau i ka naʻauao hana, ʻo ka ʻimi ʻana i kahi mīkini hiki ke hoʻomaopopo i ka ʻōlelo kanaka.
No ka laʻana, i ka ʻimi ʻana i "nā hale ʻaina Italia kokoke" ma kāu ʻenekini huli punahele, pono i kahi algorithm ke kālailai i kēlā me kēia huaʻōlelo i kāu nīnau a hoʻopuka i nā hopena kūpono. Pono ka polokalamu unuhi pono e hoʻomaopopo i ka pōʻaiapili o kekahi huaʻōlelo ma ka ʻōlelo Pelekania a e ʻike i nā ʻokoʻa o ka grammar ma waena o nā ʻōlelo.
Ke hāʻule nei kēia mau hana āpau a ʻoi aku ma lalo o ka subfield o ka ʻepekema kamepiula i ʻike ʻia Ka Hoʻomākaukau'Ōlelo Natural a i ʻole NLP. ʻO nā holomua ma NLP ua alakaʻi i kahi ākea o nā noi kūpono mai nā mea kōkua virtual e like me Amazon's Alexa i nā kānana spam e ʻike i ka leka uila maikaʻi ʻole.
ʻO ka holomua hou loa ma NLP ka manaʻo o a kumu hoʻohālike ʻōlelo nui a i ʻole LLM. ʻO nā LLM e like me GPT-3 ua lilo i mea ikaika i mea e kūleʻa ai lākou ma kahi kokoke i nā hana NLP a i ʻole ka hihia hoʻohana.
Ma kēia ʻatikala, e nānā mākou i ke ʻano o nā LLM, pehea e aʻo ʻia ai kēia mau hiʻohiʻona, a me nā palena o kēia manawa.
He aha ke ʻano hoʻohālike ʻōlelo nui?
Ma kāna kumu, ʻo ka ʻōlelo hoʻohālike he algorithm wale nō ia e ʻike i ke ʻano o kahi ʻano o nā huaʻōlelo he ʻōlelo kūpono.
ʻO ke kumu hoʻohālike ʻōlelo maʻalahi i hoʻomaʻamaʻa ʻia ma kekahi mau haneli mau puke e hiki ke haʻi i ka "Hoʻi ʻo ia i ka home" ʻoi aku ka maikaʻi ma mua o "Home hele ʻo ia".
Inā mākou e hoʻololi i ka ʻikepili liʻiliʻi me kahi ʻikepili nui i ʻoki ʻia mai ka pūnaewele, hoʻomaka mākou e hoʻokokoke i ka manaʻo o a kumu hoʻohālike ʻōlelo nui.
E ho ohana nā hanana laulā, hiki i nā mea noiʻi ke hoʻomaʻamaʻa i nā LLM ma kahi nui o ka ʻikepili kikokikona. Ma muli o ka nui o ka ʻikepili kikokikona i ʻike ʻia e ke kŘkohu, lilo ka LLM i mea maikaʻi loa i ka wānana ʻana i ka huaʻōlelo aʻe ma ke kaʻina.
E lilo ana ke kumu hoʻohālike i mea maʻalahi, hiki iā ia ke hana i nā hana NLP he nui. Aia kēia mau hana i ka hōʻuluʻulu ʻana i nā kikokikona, ka hoʻokumu ʻana i nā mea hou, a me ka hoʻohālikelike ʻana i ke kamaʻilio like me ke kanaka.
No ka laʻana, ua aʻo ʻia ke kumu hoʻohālike ʻōlelo GPT-3 kaulana loa me ka ʻoi aku o 175 biliona mau palena a manaʻo ʻia ʻo ia ke kumu hoʻohālike ʻōlelo ʻoi loa i kēia manawa.
Hiki iā ia ke hana i nā code hana, kākau i nā ʻatikala holoʻokoʻa, a hiki ke kiʻi i ka pana i ka pane ʻana i nā nīnau e pili ana i kekahi kumuhana.
Pehea e aʻo ʻia ai nā LLM?
Ua hoʻopili pōkole mākou i ka ʻoiaʻiʻo he nui ka mana o nā LLM i ka nui o kā lākou ʻikepili aʻo. Aia ke kumu i kapa ʻia ai lākou he mau hiʻohiʻona ʻōlelo "nui".
Hoʻomaʻamaʻa mua me kahi Hoʻolālā Transformer
I ka wā ma mua o ka hoʻomaʻamaʻa ʻana, hoʻolauna ʻia nā LLM i ka ʻikepili kikokikona e aʻo ai i ke ʻano nui a me nā lula o kahi ʻōlelo.
I nā makahiki i hala iho nei, ua hoʻomaʻamaʻa mua ʻia nā LLM ma nā ʻikepili e uhi ana i kahi hapa nui o ka pūnaewele lehulehu. No ka laʻana, ua aʻo ʻia ke kumu hoʻohālike ʻōlelo a GPT-3 ma ka ʻikepili mai ka Mea holo kolo maʻamau dataset, he pūʻulu o nā pou pūnaewele, nā ʻaoʻao pūnaewele, a me nā puke i hoʻopaʻa inoa ʻia i ʻoki ʻia mai ka 50 miliona mau kikowaena.
Hoʻokomo ʻia ka ʻikepili nui i kahi kumu hoʻohālike i kapa ʻia ʻo a transformer. ʻO nā mea hoʻololi ke ʻano o pūnaewele neural hohonu ʻoi aku ka maikaʻi no ka ʻikepili sequential.
Hoʻohana nā Transformers i kahi hoʻopāpā-decoder architecture no ka lawelawe ʻana i ka hoʻokomo a me ka hoʻopuka. ʻO ka mea nui, aia i ka transformer ʻelua mau neural network: kahi encoder a me kahi decoder. Hiki i ka encoder ke unuhi i ke ʻano o ka kikokikona hoʻokomo a mālama iā ia ma ke ʻano he vector. Loaʻa i ka decoder ka vector a hoʻopuka i kāna wehewehe ʻana i ka kikokikona.
Eia naʻe, ʻo ka manaʻo koʻikoʻi e hiki ai i ka hana transformer ke hana maikaʻi loa ʻo ia ka hoʻohui ʻana o a ʻano hana nānā ponoʻī. ʻO ka manaʻo o ka nānā ponoʻī i ʻae i ke kumu hoʻohālike e hoʻolohe i nā huaʻōlelo koʻikoʻi ma kahi ʻōlelo i hāʻawi ʻia. Noʻonoʻo ka mīkini i ke kaupaona ma waena o nā huaʻōlelo i kaʻawale loa.
ʻO kekahi pōmaikaʻi o ka nānā ponoʻī ʻana, hiki ke hoʻohālikelike ʻia ke kaʻina hana. Ma kahi o ka hoʻoponopono ʻana i ka ʻikepili kaʻina, hiki i nā mea hoʻohālike transformer ke hana i nā mea hoʻokomo a pau i ka manawa hoʻokahi. ʻO kēia ka mea hiki i nā mea hoʻololi ke hoʻomaʻamaʻa i ka nui o ka ʻikepili i hoʻohālikelike ʻia me nā ʻano hana ʻē aʻe.
Hoʻonohonoho maikaʻi
Ma hope o ke kahua hoʻomaʻamaʻa mua, hiki iā ʻoe ke koho e hoʻokomo i nā kikokikona hou no ka LLM kumu e hoʻomaʻamaʻa ai. Kāhea mākou i kēia kaʻina hana hoʻoponopono maikaʻi a hoʻohana pinepine ʻia e hoʻomaikaʻi hou i ka puka o ka LLM ma kahi hana kikoʻī.
No ka laʻana, makemake paha ʻoe e hoʻohana i kahi LLM e hana i nā ʻike no kāu moʻokāki Twitter. Hiki iā mākou ke hāʻawi i ke kumu hoʻohālike me kekahi mau hiʻohiʻona o kāu mau tweets mua e hāʻawi iā ia i ka manaʻo o ka hopena i makemake ʻia.
Aia kekahi mau ʻano like ʻole o ka hoʻoponopono maikaʻi ʻana.
Kakaʻikahi-pana aʻo e pili ana i ke kaʻina hana o ka hāʻawi ʻana i kahi kumu hoʻohālike he helu liʻiliʻi o nā laʻana me ka manaʻolana e noʻonoʻo ke kumu hoʻohālike ʻōlelo pehea e hana ai i nā mea like. Hoʻokahi kiʻi aʻo he kaʻina hana like koe wale nō hoʻokahi laʻana i hāʻawi ʻia.
Ka palena o nā ʻŌlelo Nui
Hiki i nā LLM e like me GPT-3 ke hana i ka nui o nā hihia hoʻohana me ka ʻole o ka hoʻoponopono maikaʻi ʻana. Eia naʻe, hele mai kēia mau hiʻohiʻona me kā lākou mau palena ponoʻī.
Ka nele i ka ʻike Semantic o ka Honua
Ma ka ʻili, ʻike ʻia nā LLM e hōʻike i ka naʻauao. Eia naʻe, ʻaʻole hana like kēia mau hiʻohiʻona i ke ʻano like o ka ka lolo kanaka hana. Ke hilinaʻi wale nei nā LLM i ka helu helu helu no ka hoʻopuka ʻana. ʻAʻole hiki iā lākou ke noʻonoʻo pono i nā manaʻo a me nā manaʻo.
Ma muli o kēia, hiki i kahi LLM ke hoʻopuka i nā pane noʻonoʻo wale no ka mea ʻike ʻia nā huaʻōlelo "pololei" a i ʻole "ka helu helu" ke kau ʻia i kēlā ʻano kikoʻī.
Nā Hale
ʻO nā mea hoʻohālike e like me GPT-3 e pilikia pū ana i nā pane pololei ʻole. Hiki i nā LLM ke pilikia i kahi mea i ʻike ʻia he kākāʻōlelo kahi e hoʻopuka ai nā kumu hoʻohālike i ka pane pololei ʻole me ka ʻike ʻole ʻaʻohe kumu o ka pane.
No ka laʻana, hiki i kahi mea hoʻohana ke noi i ke kumu hoʻohālike e wehewehe i nā manaʻo o Steve Jobs ma ka iPhone hou loa. Hiki i ke kŘkohu ke ho'opuka i ka hua'ōlelo mai ka lewa lahilahi ma muli o kāna 'ikepili a'o.
Kūlike a me ka ʻike palena
E like me nā algorithms ʻē aʻe, hiki i nā ʻōlelo hoʻohālike nui ke hoʻoili i nā manaʻo i loaʻa i ka ʻikepili aʻo. Ke hoʻomaka nei mākou e hilinaʻi hou aku i nā LLM e kiʻi i ka ʻike, pono nā mea hoʻomohala o kēia mau hiʻohiʻona e ʻimi i nā ala e hoʻēmi ai i nā hopena ʻino o nā pane ʻino.
Ma ke ʻano like, ʻo nā makapō o ka ʻikepili hoʻomaʻamaʻa o ke kumu hoʻohālike e keʻakeʻa pū i ke kumu hoʻohālike. I kēia manawa, hoʻomaʻamaʻa nā ʻōlelo hoʻohālike nui i mau mahina. Ke hilinaʻi nei hoʻi kēia mau hiʻohiʻona i nā ʻikepili i kaupalena ʻia i ka laulā. ʻO ia ke kumu i kaupalena ʻia ai ka ʻike o ChatGPT i nā hanana i hala i ka makahiki 2021.
Panina
Hiki i nā kumu hoʻohālike ʻōlelo nui ke hoʻololi maoli i ke ʻano o kā mākou launa ʻana me ka ʻenehana a me ko mākou honua holoʻokoʻa.
ʻO ka nui o nā ʻikepili i loaʻa ma ka pūnaewele ua hāʻawi i nā mea noiʻi i ala e hoʻohālike i ka paʻakikī o ka ʻōlelo. Eia naʻe, ma ke ala, ʻike ʻia kēia mau ʻōlelo hoʻohālike i ka ʻike kanaka e like me ke ao nei.
I ka hoʻomaka ʻana o ka lehulehu e hilinaʻi i kēia mau hiʻohiʻona ʻōlelo e hāʻawi i ka hoʻopuka pololei, ke ʻimi nei nā mea noiʻi a me nā mea hoʻomohala i nā ala e hoʻohui ai i nā pale kiaʻi e hoʻomau i ka ʻenehana.
He aha kou manaʻo i ka wā e hiki mai ana o nā LLM?
Waiho i ka Reply