Jẹ ki a fojuinu pe o n gbiyanju lati kọ robot bi o ṣe le rin. Ko dabi kikọ kọnputa bi o ṣe le ṣe asọtẹlẹ awọn idiyele ọja tabi tito awọn aworan, a ko ni gaan dataset nla ti a le lo lati ṣe ikẹkọ roboti wa.
Lakoko ti o le wa nipa ti ara si ọ, ririn jẹ iṣe iṣe ti o ni idiju pupọ. Rin igbesẹ kan ni igbagbogbo pẹlu ọpọlọpọ awọn iṣan oriṣiriṣi ṣiṣẹ papọ. Igbiyanju ati awọn ilana ti a lo lati rin lati ibi kan si ibomiiran tun dale lori ọpọlọpọ awọn okunfa, pẹlu boya o n gbe nkan kan tabi boya o wa ni idasi tabi awọn ọna idena miiran.
Ni awọn oju iṣẹlẹ bii iwọnyi, a le lo ọna ti a mọ bi ẹkọ imuduro tabi RL. Pẹlu RL, o le ṣalaye ibi-afẹde kan pato ti o fẹ ki awoṣe rẹ yanju ati diėdiẹ jẹ ki awoṣe kọ ẹkọ lori tirẹ bi o ṣe le ṣe.
Ninu nkan yii, a yoo ṣawari awọn ipilẹ ti ẹkọ imuduro ati bii a ṣe le lo ilana RL si ọpọlọpọ awọn iṣoro oriṣiriṣi ni agbaye gidi.
Kini ẹkọ imuduro?
Ẹkọ imudara n tọka si ipin kan pato ti imudani ẹrọ ti o fojusi lori wiwa awọn ojutu nipasẹ ẹsan awọn ihuwasi ti o fẹ ati ijiya awọn ihuwasi aifẹ.
Ko dabi ẹkọ ti a ṣe abojuto, ọna ikẹkọ imuduro ni igbagbogbo ko ni iwe data ikẹkọ ti o pese iṣelọpọ ti o tọ fun titẹ sii. Ni aini ti data ikẹkọ, algorithm gbọdọ wa ojutu nipasẹ idanwo ati aṣiṣe. Algoridimu, eyiti a tọka si bi ohun oluranlowo, gbọdọ wa awọn ojutu nipa ara nipa a sere pelu pẹlu awọn ayika.
Awọn oniwadi pinnu lori kini awọn abajade pato si ère ati kini algorithm ti o lagbara lati ṣe. Gbogbo igbese alugoridimu gba yoo gba diẹ ninu awọn fọọmu ti esi ti o Dimegilio bi daradara awọn alugoridimu ti wa ni nse. Lakoko ilana ikẹkọ, alugoridimu yoo bajẹ wa ojutu ti o dara julọ lati yanju iṣoro kan.
Apẹẹrẹ Rọrun: 4×4 Akoj
Jẹ ki a wo apẹẹrẹ ti o rọrun ti iṣoro ti a le yanju pẹlu ẹkọ imuduro.
Ṣebi a ni akoj 4 × 4 bi agbegbe wa. Aṣoju wa ni a gbe laileto ni ọkan ninu awọn onigun mẹrin pẹlu awọn idiwọ diẹ. Akoj yoo ni awọn idiwọ “ọfin” mẹta ti o gbọdọ yago fun ati ẹsan “Diamond” kan ṣoṣo eyiti aṣoju gbọdọ wa. Apejuwe pipe ti agbegbe wa ni a mọ si ayika ipinle.
Ninu awoṣe RL wa, aṣoju wa le gbe lọ si aaye eyikeyi ti o wa nitosi niwọn igba ti ko si awọn idiwọ dina wọn. Eto gbogbo awọn iṣe ti o wulo ni agbegbe ti a fun ni a mọ bi awọn aaye igbese. Ibi-afẹde ti aṣoju wa ni lati wa ọna ti o kuru julọ si ẹsan naa.
Aṣoju wa yoo lo ọna ikẹkọ imuduro lati wa ọna si diamond ti o nilo iye awọn igbesẹ ti o kere ju. Igbesẹ ọtun kọọkan yoo fun robot ni ẹsan ati igbesẹ aṣiṣe kọọkan yoo yọkuro ere ti robot. Awoṣe naa ṣe iṣiro ere lapapọ ni kete ti aṣoju ba de diamond.
Ni bayi ti a ti ṣalaye aṣoju ati agbegbe, a tun gbọdọ ṣalaye awọn ofin lati lo fun ṣiṣe ipinnu igbese atẹle ti aṣoju yoo ṣe fun ipo lọwọlọwọ ati agbegbe.
Imulo ati awọn ere
Ninu awoṣe ikẹkọ imuduro, a eto imulo tọka si ilana ti oluranlowo lo lati ṣe aṣeyọri awọn ibi-afẹde wọn. Ilana aṣoju jẹ ohun ti o pinnu kini oluranlowo yẹ ki o ṣe ni atẹle fun ipo aṣoju lọwọlọwọ ati agbegbe rẹ.
Aṣoju gbọdọ ṣe ayẹwo gbogbo awọn eto imulo ti o ṣeeṣe lati rii iru eto imulo ti o dara julọ.
Ninu apẹẹrẹ wa ti o rọrun, ibalẹ lori aaye ṣofo yoo da iye ti -1 pada. Nigbati aṣoju ba de aaye kan pẹlu ẹsan diamond, wọn yoo gba iye ti 10. Lilo awọn iye wọnyi, a le ṣe afiwe awọn eto imulo oriṣiriṣi nipa lilo a IwUlO iṣẹ U.
Jẹ ki a ṣe afiwe iwulo ti awọn eto imulo meji ti a rii loke:
U(A) = -1 – 1 -1 + 10 = 7
U(B) = -1 – 1 – 1 – 1 – 1 + 10 = 5
Awọn abajade fihan pe Ilana A jẹ ọna ti o dara julọ si wiwa ere naa. Nitorinaa, aṣoju yoo lo Ọna A lori Ilana B.
Iwakiri vs
Iwakiri lasi iṣoro iṣowo-pipa ilokulo ni ẹkọ imuduro jẹ atayanyan ti oluranlowo gbọdọ koju lakoko ilana ipinnu.
Ṣe awọn aṣoju yẹ ki o dojukọ lori ṣawari awọn ọna tuntun tabi awọn aṣayan tabi o yẹ ki wọn tẹsiwaju lilo awọn aṣayan ti wọn ti mọ tẹlẹ?
Ti aṣoju ba yan lati ṣawari, o ṣeeṣe fun oluranlowo lati wa aṣayan ti o dara julọ, ṣugbọn o tun le ṣe ewu akoko ati awọn ohun elo jafara. Ni apa keji, ti aṣoju ba yan lati lo nilokulo ojutu ti o ti mọ tẹlẹ, o le padanu aṣayan ti o dara julọ.
Awọn Ohun elo Iṣeloju
Eyi ni diẹ ninu awọn ọna Awọn oniwadi AI ti lo awọn awoṣe ikẹkọ imuduro lati yanju awọn iṣoro gidi-aye:
Ẹkọ Imudara ni Awọn ọkọ ayọkẹlẹ Wiwakọ-ara-ẹni
A ti lo ikẹkọ imuduro si awọn ọkọ ayọkẹlẹ ti n wakọ ti ara ẹni lati le mu agbara wọn dara lati wakọ lailewu ati daradara. Imọ-ẹrọ naa jẹ ki awọn ọkọ ayọkẹlẹ adase lati kọ ẹkọ lati awọn aṣiṣe wọn ati nigbagbogbo ṣatunṣe ihuwasi wọn lati le mu iṣẹ wọn dara si.
Fun apẹẹrẹ, ile-iṣẹ AI ti Ilu Lọndọnu Wayve ti ṣaṣeyọri lilo awoṣe ikẹkọ imuduro jinlẹ fun awakọ adase. Ninu idanwo wọn, wọn lo iṣẹ ẹsan ti o pọ si iye akoko ti ọkọ n ṣiṣẹ laisi awakọ lori ọkọ ti n pese igbewọle.
Awọn awoṣe RL tun ṣe iranlọwọ fun awọn ọkọ ayọkẹlẹ lati ṣe awọn ipinnu ti o da lori agbegbe, gẹgẹbi yago fun awọn idiwọ tabi dapọ sinu ijabọ. Awọn awoṣe wọnyi gbọdọ wa ọna lati ṣe iyipada agbegbe eka ti o yika ọkọ ayọkẹlẹ kan si aaye ipo aṣoju ti awoṣe le loye.
Ẹkọ Imudara ni Awọn Robotics
Awọn oniwadi tun ti nlo ẹkọ imuduro lati ṣe agbekalẹ awọn roboti ti o le kọ ẹkọ awọn iṣẹ ṣiṣe ti eka. Nipasẹ awọn awoṣe RL wọnyi, awọn roboti ni anfani lati ṣe akiyesi agbegbe wọn ati ṣe awọn ipinnu ti o da lori awọn akiyesi wọn.
Fun apẹẹrẹ, a ti ṣe iwadii lori lilo awọn awoṣe ikẹkọ imuduro lati gba awọn roboti bipedal laaye lati kọ ẹkọ bi o ṣe le rin lori ara wọn.
Awọn oniwadi ro RL lati jẹ ọna bọtini ni aaye ti awọn roboti. Ẹkọ imuduro n fun awọn aṣoju roboti ni ilana kan lati kọ ẹkọ awọn iṣe fafa ti o le jẹ bibẹẹkọ soro lati ṣe ẹlẹrọ.
Ẹkọ imudara ni Awọn ere Awọn
Awọn awoṣe RL tun ti lo lati kọ bi a ṣe le ṣe awọn ere fidio. A le ṣeto awọn aṣoju lati kọ ẹkọ lati awọn aṣiṣe wọn ati nigbagbogbo mu ilọsiwaju wọn ṣiṣẹ ninu ere naa.
Awọn oniwadi ti ni idagbasoke awọn aṣoju ti o le ṣe awọn ere bii chess, Go, ati poka . Ni ọdun 2013, Onigbagbo ti a lo Jin Imudara Learning lati gba awoṣe kan lati ko bi lati mu Atari awọn ere lati ibere.
Ọpọlọpọ awọn ere igbimọ ati awọn ere fidio ni aaye iṣe lopin ati ibi-afẹde nja ti o ni asọye daradara. Awọn ami wọnyi ṣiṣẹ si anfani awoṣe RL. Awọn ọna RL le ṣe atunbere ni iyara lori awọn miliọnu awọn ere adaṣe lati kọ ẹkọ awọn ọgbọn ti o dara julọ lati ṣaṣeyọri iṣẹgun.
ipari
Boya o nkọ bi o ṣe le rin tabi kọ ẹkọ bi o ṣe le ṣe awọn ere fidio, awọn awoṣe RL ti jẹri lati jẹ awọn ilana AI ti o wulo fun yiyan awọn iṣoro ti o nilo ṣiṣe ipinnu idiju.
Bi imọ-ẹrọ ti n tẹsiwaju lati dagbasoke, mejeeji awọn oniwadi ati awọn olupilẹṣẹ yoo tẹsiwaju lati wa awọn ohun elo tuntun ti o lo anfani ti agbara ikẹkọ ti ara ẹni awoṣe.
Awọn ohun elo ilowo wo ni o ro pe ẹkọ imuduro le ṣe iranlọwọ pẹlu?
Fi a Reply