E noʻonoʻo kākou e hoʻāʻo ana ʻoe e aʻo i kahi lopako pehea e hele ai. ʻAʻole like me ke aʻo ʻana i ke kamepiula pehea e wānana ai i nā kumukūʻai kumukūʻai a i ʻole ka hoʻokaʻawale ʻana i nā kiʻi, ʻaʻole loaʻa iā mākou kahi ʻikepili nui e hiki ai iā mākou ke hoʻohana i ke aʻo ʻana i kā mākou robot.
ʻOiai hiki iā ʻoe ke hele maʻamau, ʻo ka hele wāwae he hana paʻakikī loa. ʻO ka hele wāwae ʻana i kahi ʻanuʻu maʻamau e pili ana i nā kakini o nā ʻiʻo like ʻole e hana pū ana. ʻO ka hoʻoikaika a me nā ʻenehana i hoʻohana ʻia no ka hele ʻana mai kahi wahi a i kahi ʻē aʻe e hilinaʻi ʻia i nā ʻano kumu like ʻole, e like me ka lawe ʻana i kekahi mea a i ʻole he incline a i ʻole nā ʻano mea ʻē aʻe.
Ma nā hiʻohiʻona e like me kēia, hiki iā mākou ke hoʻohana i kahi ala i kapa ʻia ʻo ke aʻo hoʻoikaika a i ʻole RL. Me RL, hiki iā ʻoe ke wehewehe i kahi pahuhopu āu e makemake ai e hoʻoponopono i kāu kumu hoʻohālike a hoʻokuʻu mālie i ke kumu hoʻohālike e aʻo iā ia iho pehea e hoʻokō ai.
Ma kēia ʻatikala, e ʻimi mākou i nā kumu o ka hoʻoikaika ʻana i ke aʻo ʻana a pehea e hiki ai iā mākou ke hoʻohana i ka framework RL i nā pilikia like ʻole o ka honua maoli.
He aha ke aʻo hoʻoikaika?
ʻO ke aʻo hoʻoikaika ʻana e pili ana i kahi ʻāpana o aʻo aʻo e kālele ana i ka ʻimi ʻana i nā hoʻonā ma ka uku ʻana i nā ʻano i makemake ʻia a me ka hoʻopaʻi ʻana i nā ʻano makemake ʻole.
'A'ole like me ka ho'ona'auao 'ana, 'a'ole ma'amau ka 'ano a'o ho'oikaika 'ana i ka 'ikepili a'o e hā'awi ana i ka ho'opuka kūpono no ka ho'okomo 'ana. I ka loaʻa ʻole o ka ʻikepili aʻo, pono e ʻimi ka algorithm i ka hopena ma o ka hoʻāʻo a me ka hewa. ʻO ka algorithm, a mākou e kuhikuhi pinepine ai he hope paha, pono e imi i ka hopena ma o ka launa pu ana me ka 'ia.
Hoʻoholo ka poʻe noiʻi i nā hopena kūikawā uku a me ka mea hiki i ka algorithm ke hana. ʻO kēlā me kēia hana e loaʻa i ka algorithm kekahi ʻano manaʻo e helu i ka maikaʻi o ka algorithm. I ka wā o ka hoʻomaʻamaʻa ʻana, e loaʻa i ka algorithm ka hopena maikaʻi loa e hoʻoponopono ai i kekahi pilikia.
He Laʻana Maʻalahi: 4×4 Grid
E nānā i kahi laʻana maʻalahi o kahi pilikia hiki iā mākou ke hoʻoponopono me ka hoʻoikaika ʻana i ke aʻo ʻana.
E manaʻo paha he 4 × 4 kā mākou kaiapuni. Hoʻonoho ʻia kā mākou ʻelele ma kekahi o nā ʻāpana me kekahi mau mea pale. Aia i loko o ka mānoanoa ʻekolu mau pilikia "lua" pono e pale ʻia a me ka uku "diamond" hoʻokahi i loaʻa i ka ʻelele. ʻO ka wehewehe piha ʻana o ko mākou kaiapuni i ʻike ʻia ʻo ka environment's moku'āina.
Ma kā mākou kumu hoʻohālike RL, hiki i kā mākou ʻelele ke neʻe i nā ʻāpana pili like ʻole inā ʻaʻohe mea keakea iā lākou. ʻO ka pūʻulu o nā hana kūpono a pau i kahi kaiapuni i ʻike ʻia ʻo ka wahi hana. ʻO ka pahuhopu o kā mākou luna e ʻimi i ke ala pōkole loa i ka uku.
E hoʻohana kā mākou luna i ke ʻano aʻo hoʻoikaika e ʻimi i ke ala i ke daimana e koi ai i ka liʻiliʻi o nā ʻanuʻu. Hāʻawi kēlā me kēia ʻanuʻu kūpono i ka robot i ka uku a ʻo kēlā me kēia hana hewa e unuhi i ka uku o ka robot. E helu ana ke kŘkohu i ka huina o ka uku ke hiki aku ka luna i ke daimana.
I kēia manawa ua wehewehe mākou i ka ʻelele a me ke kaiapuni, pono mākou e wehewehe i nā lula e hoʻohana ai no ka hoʻoholo ʻana i ka hana aʻe a ka luna e hana ai ma muli o kona kūlana o kēia manawa a me ke kaiapuni.
Nā kulekele a me nā uku
Ma ke kumu hoʻohālike hoʻoikaika, a pili pili i ka hoʻolālā i hoʻohana ʻia e kahi luna e hoʻokō i kā lākou mau pahuhopu. ʻO ke kulekele a ka luna ka mea e hoʻoholo ai i ka mea a ka luna e hana ai ma hope o ke kūlana o kēia manawa o ka luna a me kona kaiapuni.
Pono ka luna e loiloi i nā kulekele hiki ke ʻike i ke kulekele ʻoi loa.
Ma kā mākou hiʻohiʻona maʻalahi, ʻo ka pae ʻana ma kahi hakahaka e hoʻihoʻi i kahi waiwai o -1. Ke pae ka ʻelele ma kahi ākea me ka uku daimana, e loaʻa iā lākou ka waiwai o 10. Ke hoʻohana nei i kēia mau waiwai, hiki iā mākou ke hoʻohālikelike i nā kulekele like ʻole me ka hoʻohana ʻana i kahi hana pono U.
E hoʻohālikelike kākou i ka pono o nā kulekele ʻelua i ʻike ʻia ma luna.
U(A) = -1 – 1 -1 + 10 = 7
U(B) = -1 – 1 – 1 – 1 – 1 + 10 = 5
Hōʻike nā hopena i ke kulekele A ke ala maikaʻi loa e loaʻa ai ka uku. No laila, e hoʻohana ka ʻelele i ke ala A ma luna o ke kulekele B.
Exploitation vs. Exploitation
ʻO ka pilikia kālepa ʻimi a me ka hoʻohana ʻana i ka hoʻoikaika ʻana i ke aʻo ʻana he pilikia ia e kū pono ai ka luna i ke kaʻina hoʻoholo.
Pono anei nā ʻelele i ka ʻimi ʻana i nā ala hou a i ʻole nā koho a i ʻole e hoʻomau lākou i ka hoʻohana ʻana i nā koho a lākou i ʻike mua ai?
Inā koho ka luna e makaʻala, hiki i ka luna ke ʻimi i kahi koho ʻoi aku ka maikaʻi, akā hiki nō paha ke hoʻopau i ka manawa a me nā kumuwaiwai. Ma ka ʻaoʻao ʻē aʻe, inā koho ka luna e hoʻohana i ka hoʻonā i ʻike mua ʻia, nalo paha ia i kahi koho ʻoi aku ka maikaʻi.
Nā Manawa Kūpono
Eia kekahi mau ala Nā mea noiʻi AI ua hoʻohana i nā kumu hoʻohālike hoʻoikaika e hoʻoponopono i nā pilikia o ka honua maoli:
Hoʻoikaika i ke aʻo ʻana i nā kaʻa hoʻokele ponoʻī
Ua hoʻohana ʻia ke aʻo hoʻoikaika ʻana i nā kaʻa kaʻa ponoʻī i mea e hoʻomaikaʻi ai i ko lākou hiki ke hoʻokele me ka palekana a me ka maikaʻi. Hāʻawi ka ʻenehana i nā kaʻa autonomous e aʻo mai kā lākou mau hewa a hoʻoponopono mau i kā lākou ʻano i mea e hoʻomaikaʻi ai i kā lākou hana.
No ka laʻana, ʻo ka hui AI ma London Wayve Ua hoʻohana maikaʻi ʻo ia i kahi kumu hoʻonaʻauao hoʻoikaika hohonu no ka hoʻokele autonomous. I kā lākou hoʻokolohua, hoʻohana lākou i kahi hana uku e hoʻonui ai i ka nui o ka manawa e holo ai ke kaʻa me ka ʻole o ka mea hoʻokele ma luna e hāʻawi i ka hoʻokomo.
Kōkua pū nā hiʻohiʻona RL i nā kaʻa e hana i nā hoʻoholo e pili ana i ke kaiapuni, e like me ka pale ʻana i nā pilikia a i ʻole ka hui ʻana i ke kaʻa. Pono kēia mau hiʻohiʻona e ʻimi i ke ala e hoʻohuli ai i ke kaiapuni paʻakikī e hoʻopuni ana i kahi kaʻa i wahi mokuʻāina e hiki ke hoʻomaopopo i ke kumu hoʻohālike.
Hoʻoikaika i ke aʻo ʻana ma Robotics
Ua hoʻohana pū nā mea noiʻi i ke aʻo hoʻoikaika e hoʻomohala i nā robots hiki ke aʻo i nā hana paʻakikī. Ma o kēia mau hiʻohiʻona RL, hiki i nā robots ke nānā i ko lākou kaiapuni a hana i nā hoʻoholo e pili ana i kā lākou nānā.
No ka laʻana, ua hana ʻia ka noiʻi e pili ana i ka hoʻohana ʻana i nā kumu hoʻohālike hoʻoikaika e ʻae i nā lopako bipedal e aʻo pehea e hele iā lākou iho.
Manaʻo ka poʻe noiʻi ʻo RL ke ʻano koʻikoʻi ma ke kahua o ka robotics. Hāʻawi ke aʻo hoʻoikaika i nā mea hana robotic i kahi e aʻo ai i nā hana maʻalahi e paʻakikī paha ke ʻenekinia.
Hoʻoikaika i ke aʻo ʻana ma ka pāʻani
Ua hoʻohana pū ʻia nā hiʻohiʻona RL e aʻo pehea e pāʻani ai i nā pāʻani wikiō. Hiki ke hoʻonohonoho ʻia nā ʻelele e aʻo mai kā lākou mau hewa a hoʻomaikaʻi mau i kā lākou hana ma ka pāʻani.
Ua hoʻomohala mua nā mea noiʻi i nā mea hiki ke pāʻani i nā pāʻani e like me ka chess, Go, a me ka poker. I ka makahiki 2013, Deepmind ua hoʻohana i ka Deep Reinforcement Learning e ʻae i kahi kumu hoʻohālike e aʻo pehea e pāʻani ai i nā pāʻani Atari mai ka wā ʻōpala.
Nui nā pāʻani papa a me nā pāʻani wikiō he wahi hana palena ʻole a me kahi pahuhopu paʻa i wehewehe maikaʻi ʻia. Hana kēia mau hiʻohiʻona i ka pono o ke kumu hoʻohālike RL. Hiki i nā ala RL ke hoʻololi koke i nā miliona o nā pāʻani simulated e aʻo i nā hoʻolālā maikaʻi loa e loaʻa ai ka lanakila.
Panina
Ke aʻo nei paha i ka hele wāwae a i ʻole ke aʻo ʻana i ka pāʻani wikiō, ua hōʻoia ʻia nā hiʻohiʻona RL he mau hana AI pono no ka hoʻoponopono ʻana i nā pilikia e koi ana i ka hoʻoholo paʻakikī.
Ke hoʻomau nei ka ulu ʻana o ka ʻenehana, e hoʻomau ka poʻe noiʻi a me nā mea hoʻomohala i nā noi hou e hoʻohana pono i ka hiki ke aʻo ponoʻī o ke kumu hoʻohālike.
He aha nā noi kūpono āu e manaʻo ai e hiki ke kōkua i ka hoʻoikaika ʻana?
Waiho i ka Reply