Videomängud pakuvad jätkuvalt väljakutset miljarditele mängijatele üle maailma. Te ei pruugi seda veel teada, kuid ka masinõppe algoritmid on hakanud väljakutsele vastu tulema.
Praegu on tehisintellekti valdkonnas tehtud märkimisväärne hulk uuringuid, et näha, kas masinõppe meetodeid saab videomängudes rakendada. Olulised edusammud selles valdkonnas näitavad seda masinõpe agente saab kasutada inimmängija jäljendamiseks või isegi asendamiseks.
Mida see tuleviku jaoks tähendab Videomängude?
Kas need projektid on lihtsalt lõbu pärast või on sügavamad põhjused, miks nii paljud teadlased keskenduvad mängudele?
See artikkel uurib lühidalt AI ajalugu videomängudes. Seejärel anname teile kiire ülevaate mõnest masinõppetehnikast, mida saame kasutada mängude võitmise õppimiseks. Seejärel vaatame mõnda edukat rakendust närvivõrgud konkreetsete videomängude õppimiseks ja valdamiseks.
Tehisintellekti lühiajalugu mängudes
Enne kui jõuame sellesse, miks närvivõrkudest on saanud ideaalne algoritm videomängude lahendamiseks, uurime lühidalt, kuidas arvutiteadlased on kasutanud videomänge tehisintellekti alase uurimistöö edendamiseks.
Võite väita, et videomängud on algusest peale olnud AI-st huvitatud teadlaste jaoks kuum uurimisvaldkond.
Kuigi male ei ole oma päritoluga rangelt videomäng, on male AI algusaegadel olnud suur tähelepanu. 1951. aastal kirjutas dr Dietrich Prinz maleprogrammi, kasutades Ferranti Mark 1 digitaalset arvutit. See oli palju tagasi ajastul, mil need mahukad arvutid pidid programme paberilindilt lugema.
Programm ise ei olnud täielik male AI. Arvuti piirangute tõttu suutis Prinz luua ainult programmi, mis lahendas mate-kahes maleülesandeid. Keskmiselt kulus programmil valgete ja mustade mängijate iga võimaliku käigu arvutamiseks 15-20 minutit.
Töö male ja kabe AI täiustamiseks on aastakümnete jooksul pidevalt paranenud. Edu saavutas haripunkti 1997. aastal, kui IBMi Deep Blue alistas kuuegeimilises paaris Vene malesuurmeistri Garri Kasparovi. Tänapäeval suudavad oma mobiiltelefonist leitavad malemootorid Deep Blue alistada.
Tehisintellekti vastased hakkasid videosaalimängude kuldajal populaarsust koguma. 1978. aasta Space Invaders ja 1980. aastate Pac-Man on ühed tööstusharu teerajajad tehisintellekti loomisel, mis suudavad esitada piisava väljakutse isegi kõige veteranidele arkaadmängijatele.
Eelkõige oli Pac-Man AI-teadlaste jaoks populaarne mäng, millega katsetada. Erinevad võistlused Pac-Mani jaoks on korraldatud, et teha kindlaks, milline meeskond suudab mängu võitmiseks välja pakkuda parima tehisintellekti.
Mängu tehisintellekt ja heuristilised algoritmid arenesid edasi, kui tekkis vajadus targemate vastaste järele. Näiteks võitles tehisintellekt tõusis populaarsemaks, kui žanrid, nagu esimese isiku tulistamismängud, muutusid peavooluks.
Masinõpe videomängudes
Kuna masinõppetehnikad kasvasid kiiresti populaarsemaks, proovisid erinevad uurimisprojektid neid uusi tehnikaid videomängude mängimiseks kasutada.
Sellised mängud nagu Dota 2, StarCraft ja Doom võivad nende jaoks probleeme tekitada masinõppe algoritmid lahendada. Süvaõppe algoritmid, eriti suutsid saavutada ja isegi ületada inimliku taseme.
. Arkaadõppekeskkond ehk ALE andis teadlastele liidese üle saja Atari 2600 mängu jaoks. Avatud lähtekoodiga platvorm võimaldas teadlastel võrrelda klassikaliste Atari videomängude masinõppetehnikate jõudlust. Google avaldas isegi oma paber kasutades seitset ALE mängu
Vahepeal projektid nagu VizDoom andis tehisintellekti teadlastele võimaluse treenida masinõppe algoritme, et mängida 3D esimese isiku tulistajaid.
Kuidas see töötab: mõned põhimõisted
Närvivõrgud
Enamik lähenemisviise videomängude lahendamiseks masinõppega hõlmab teatud tüüpi algoritmi, mida nimetatakse närvivõrguks.
Närvivõrku võib pidada programmiks, mis püüab jäljendada aju toimimist. Sarnaselt sellele, kuidas meie aju koosneb signaali edastavatest neuronitest, sisaldab närvivõrk ka tehisneuroneid.
Need kunstlikud neuronid edastavad ka üksteisele signaale, kusjuures iga signaal on tegelik arv. Närvivõrk sisaldab sisend- ja väljundkihtide vahel mitut kihti, mida nimetatakse sügavaks närvivõrguks.
Tugevdusõpe
Teine levinud masinõppetehnika, mis on seotud videomängude õppimisega, on tugevdava õppe idee.
See tehnika on agendi koolitamise protsess, kasutades preemiaid või karistusi. Selle lähenemisviisi korral peaks agent olema võimeline leidma probleemile lahenduse katse-eksituse meetodil.
Oletame, et tahame, et tehisintellekt saaks teada, kuidas mängu Snake mängida. Mängu eesmärk on lihtne: hankige võimalikult palju punkte, tarbides esemeid ja vältides oma kasvavat saba.
Tugevdusõppe abil saame defineerida premeerimisfunktsiooni R. Funktsioon lisab punkte, kui madu tarbib eseme, ja lahutab punkte, kui madu tabab takistust. Arvestades praegust keskkonda ja võimalike toimingute kogumit, püüab meie tugevdamisõppe mudel arvutada välja optimaalse „poliitika”, mis maksimeerib meie tasustamisfunktsiooni.
Neuroevolutsioon
Pidades silmas loodusest inspireeritud teemat, on teadlased leidnud edu ka ML-i rakendamisel videomängudes neuroevolutsioonina tuntud tehnika abil.
Kasutamise asemel gradient laskumine võrgu neuronite värskendamiseks saame paremate tulemuste saavutamiseks kasutada evolutsioonilisi algoritme.
Evolutsioonilised algoritmid algavad tavaliselt juhuslike indiviidide esialgse populatsiooni genereerimisega. Seejärel hindame neid isikuid teatud kriteeriumide alusel. Parimad isendid valitakse "vanemateks" ja kasvatatakse kokku, et moodustada uus põlvkond isendeid. Need isendid asendavad seejärel populatsiooni kõige vähem sobivaid isendeid.
Need algoritmid viivad tavaliselt sisse ka mingisuguse mutatsioonioperatsiooni ristumis- või aretusetapi ajal, et säilitada geneetiline mitmekesisus.
Näidisuuringud videomängude masinõppe kohta
OpenAI viis
OpenAI viis on OpenAI arvutiprogramm, mille eesmärk on mängida DOTA 2, populaarset mitme mängijaga mobiili lahinguareeni (MOBA) mängu.
Programm kasutas olemasolevaid tugevdamisõppe tehnikaid, mis on kohandatud õppima miljonitest kaadritest sekundis. Tänu hajutatud treeningsüsteemile suutis OpenAI mängida iga päev 180 aasta eest mänge.
Pärast treeningperioodi suutis OpenAI Five saavutada eksperttasemel soorituse ja demonstreerida koostööd inimmängijatega. 2019. aastal suutis OpenAI viis võita 99.4% mängijatest avalikes matšides.
Miks OpenAI selle mängu kasuks otsustas? Teadlaste sõnul oli DOTA 2-l keeruline mehaanika, mis jäi olemasoleva sügavuse haardeulatusest välja tugevdamise õppimine algoritmid.
Super Mario Bros
Veel üks huvitav närvivõrkude rakendus videomängudes on neuroevolutsiooni kasutamine selliste platvormide mängimiseks nagu Super Mario Bros.
Näiteks see sissepääs häkatonile algab sellest, et tal ei ole mängust teadmisi ja see loob aeglaselt aluse sellele, mida on vaja tasemel edasiliikumiseks.
Isearenev närvivõrk võtab mängu praeguse oleku paanide ruudustikuna. Alguses ei saa närvivõrk aru, mida iga paan tähendab, vaid ainult seda, et "õhk" plaadid erinevad "maakividest" ja "vaenlase plaatidest".
Häkatoni projekti neuroevolutsiooni rakendamisel kasutati NEAT-i geneetilist algoritmi erinevate närvivõrkude valikuliseks aretamiseks.
Tähtsus
Nüüd, kui olete näinud mõnda näidet närvivõrkudest, mis mängivad videomänge, võite mõelda, mis selle kõige mõte on.
Kuna videomängud hõlmavad keerulisi interaktsioone agentide ja nende keskkondade vahel, on see ideaalne katsepolügoon AI loomiseks. Virtuaalsed keskkonnad on turvalised ja juhitavad ning pakuvad lõputult palju andmeid.
Selles valdkonnas tehtud uuringud on andnud teadlastele ülevaate sellest, kuidas närvivõrke saab optimeerida, et õppida, kuidas reaalses maailmas probleeme lahendada.
Neuraalsed võrgud on inspireeritud sellest, kuidas ajud loodusmaailmas töötavad. Uurides, kuidas kunstlikud neuronid videomängu mängima õppides käituvad, võime saada ka ülevaate sellest, kuidas inimese aju töötab.
Järeldus
Sarnasused närvivõrkude ja aju vahel on viinud arusaamadeni mõlemas valdkonnas. Jätkuv uurimine selle kohta, kuidas närvivõrgud suudavad probleeme lahendada, võivad ühel päeval viia nende arenenumate vormideni tehisintellekti.
Kujutage ette, et kasutate teie spetsifikatsioonidele kohandatud tehisintellekti, mis suudab enne ostmist mängida tervet videomängu, et anda teile teada, kas see on teie aega väärt. Kas videomängufirmad kasutaksid närvivõrke mängu disaini, näpistamise taseme ja vastase raskuste parandamiseks?
Mis teie arvates juhtub, kui närvivõrkudest saavad parimad mängijad?
Jäta vastus