Videospēles joprojām ir izaicinājums miljardiem spēlētāju visā pasaulē. Iespējams, jūs to vēl nezināt, taču arī mašīnmācīšanās algoritmi ir sākuši stāties pretī izaicinājumam.
Pašlaik AI jomā ir veikts ievērojams skaits pētījumu, lai noskaidrotu, vai mašīnmācīšanās metodes var izmantot videospēlēs. Par to liecina ievērojamais progress šajā jomā mašīna mācīšanās aģentus var izmantot, lai līdzinātos vai pat aizstātu cilvēka spēlētāju.
Ko tas nozīmē nākotnei Video spēles?
Vai šie projekti ir tikai prieka pēc, vai arī ir dziļāki iemesli, kāpēc tik daudzi pētnieki koncentrējas uz spēlēm?
Šajā rakstā īsumā tiks apskatīta AI vēsture videospēlēs. Pēc tam mēs sniegsim jums īsu pārskatu par dažām mašīnmācīšanās metodēm, kuras varam izmantot, lai uzzinātu, kā pārspēt spēles. Pēc tam apskatīsim dažus veiksmīgus pieteikumus neironu tīkli apgūt un apgūt konkrētas videospēles.
Īsa AI vēsture spēlēs
Pirms mēs noskaidrosim, kāpēc neironu tīkli ir kļuvuši par ideālu algoritmu videospēļu risināšanai, īsi apskatīsim, kā datorzinātnieki ir izmantojuši videospēles, lai veicinātu AI pētījumus.
Varat apgalvot, ka videospēles jau kopš tās pirmsākumiem ir bijusi aktuāla pētniecības joma pētniekiem, kurus interesē AI.
Lai gan šahs pēc izcelsmes nav tikai videospēle, AI sākumposmā tam tika pievērsta liela uzmanība. 1951. gadā doktors Dītrihs Princs uzrakstīja šaha spēles programmu, izmantojot digitālo datoru Ferranti Mark 1. Tas bija tālu laikmetā, kad šiem lielgabarīta datoriem bija jālasa programmas no papīra lentes.
Pati programma nebija pilnīga šaha AI. Datora ierobežojumu dēļ Prinz varēja izveidot tikai programmu, kas atrisināja mate-divās šaha problēmas. Vidēji programma aizņēma 15-20 minūtes, lai aprēķinātu katru iespējamo gājienu baltajiem un melnajiem spēlētājiem.
Darbs pie šaha un dambretes AI uzlabošanas gadu desmitiem ir nepārtraukti uzlabojies. Progress sasniedza kulmināciju 1997. gadā, kad IBM Deep Blue uzvarēja Krievijas šaha lielmeistaru Gariju Kasparovu sešu spēļu pārī. Mūsdienās šaha dzinēji, kurus varat atrast savā mobilajā tālrunī, var uzvarēt Deep Blue.
AI pretinieki sāka iegūt popularitāti video arkādes spēļu zelta laikmetā. 1978. gada Space Invaders un 1980. gadu Pac-Man ir daži no nozares pionieriem mākslīgā intelekta izveidē, kas spēj pietiekami izaicināt pat veterānus arkādes spēlētājus.
Jo īpaši Pac-Man bija populāra spēle, ar kuru AI pētnieki varēja eksperimentēt. Dažādi sacensības Pac-Man kundzei tika organizēti, lai noteiktu, kura komanda varētu nākt klajā ar labāko AI, lai uzvarētu spēli.
Spēļu AI un heiristiskie algoritmi turpināja attīstīties, jo radās nepieciešamība pēc gudrākiem pretiniekiem. Piemēram, cīņas AI popularitāte kļuva arvien populārāka, jo tādi žanri kā pirmās personas šāvēja kļuva populārāki.
Mašīnmācība videospēlēs
Tā kā mašīnmācīšanās paņēmienu popularitāte strauji pieauga, dažādi pētniecības projekti mēģināja izmantot šīs jaunās metodes videospēļu spēlēšanai.
Tādas spēles kā Dota 2, StarCraft un Doom var radīt problēmas mašīnmācīšanās algoritmi atrisināt. Dziļās mācīšanās algoritmi, jo īpaši spēja sasniegt un pat pārspēt cilvēka līmeņa sniegumu.
Jūsu darbs IR Klientu apkalpošana Arkādes mācību vide vai ALE sniedza pētniekiem saskarni vairāk nekā simts Atari 2600 spēlēm. Atvērtā koda platforma ļāva pētniekiem salīdzināt mašīnmācīšanās metožu veiktspēju klasiskajās Atari videospēlēs. Google pat publicēja savus papīrs izmantojot septiņas spēles no ALE
Tikmēr tādi projekti kā VizDoom deva AI pētniekiem iespēju apmācīt mašīnmācīšanās algoritmus, lai spēlētu 3D pirmās personas šāvējus.
Kā tas darbojas: daži galvenie jēdzieni
Neironu tīkli
Lielākā daļa pieejas videospēļu risināšanai ar mašīnmācīšanos ietver algoritma veidu, kas pazīstams kā neironu tīkls.
Jūs varat domāt par neironu tīklu kā programmu, kas mēģina atdarināt smadzeņu darbību. Līdzīgi kā mūsu smadzenes sastāv no neironiem, kas pārraida signālu, neironu tīkls satur arī mākslīgos neironus.
Šie mākslīgie neironi arī pārraida signālus viens otram, un katrs signāls ir faktiskais skaitlis. Neironu tīkls satur vairākus slāņus starp ievades un izvades slāņiem, ko sauc par dziļo neironu tīklu.
Pastiprināšanas mācīšanās
Vēl viena izplatīta mašīnmācīšanās tehnika, kas attiecas uz videospēļu apguvi, ir pastiprināšanas mācīšanās ideja.
Šis paņēmiens ir aģenta apmācības process, izmantojot atlīdzību vai sodus. Izmantojot šo pieeju, aģentam jāspēj rast problēmas risinājumu, izmantojot izmēģinājumus un kļūdas.
Pieņemsim, ka mēs vēlamies, lai AI uzzinātu, kā spēlēt spēli Snake. Spēles mērķis ir vienkāršs: iegūstiet pēc iespējas vairāk punktu, patērējot preces un izvairoties no augošās astes.
Izmantojot pastiprināšanas mācīšanos, mēs varam definēt atalgojuma funkciju R. Funkcija pievieno punktus, kad čūska patērē preci, un atņem punktus, kad čūska atsitas pret šķērsli. Ņemot vērā pašreizējo vidi un iespējamo darbību kopumu, mūsu pastiprināšanas mācību modelis mēģinās aprēķināt optimālo “politiku”, kas maksimāli palielina mūsu atalgojuma funkciju.
Neiroevolūcija
Ievērojot tēmu ar dabas iedvesmošanu, pētnieki ir arī atklājuši panākumus, piemērojot ML videospēlēs, izmantojot paņēmienu, kas pazīstams kā neiroevolūcija.
Tā vietā, lai izmantotu gradienta nolaišanās lai atjauninātu neironus tīklā, mēs varam izmantot evolūcijas algoritmus, lai sasniegtu labākus rezultātus.
Evolūcijas algoritmi parasti sākas ar nejaušu indivīdu sākotnējās populācijas ģenerēšanu. Pēc tam mēs novērtējam šīs personas, izmantojot noteiktus kritērijus. Labākie indivīdi tiek izvēlēti par “vecākiem” un tiek audzēti kopā, lai izveidotu jaunu indivīdu paaudzi. Pēc tam šie indivīdi aizstās populācijā vismazāk piemērotos indivīdus.
Šie algoritmi arī parasti ievieš kāda veida mutācijas operācijas krustošanās vai “selekcijas” posmā, lai saglabātu ģenētisko daudzveidību.
Pētījuma paraugs par mašīnmācīšanos videospēlēs
OpenAI Five
OpenAI Five ir OpenAI datorprogramma, kuras mērķis ir spēlēt DOTA 2, populāru vairāku spēlētāju mobilās kaujas arēnas (MOBA) spēli.
Programma izmantoja esošās pastiprināšanas mācīšanās metodes, kas pielāgotas, lai mācītos no miljoniem kadru sekundē. Pateicoties izplatītajai apmācības sistēmai, OpenAI katru dienu varēja spēlēt spēles 180 gadu garumā.
Pēc treniņu perioda OpenAI Five spēja sasniegt eksperta līmeņa sniegumu un demonstrēt sadarbību ar spēlētājiem. 2019. gadā OpenAI pieci to spēja uzvarēt 99.4% spēlētāju publiskajās spēlēs.
Kāpēc OpenAI izlēma par šo spēli? Pēc pētnieku domām, DOTA 2 bija sarežģīta mehānika, kas nebija pieejama esošajam dziļumam pastiprināt mācīšanās algoritmi.
Super Mario Bros
Vēl viens interesants neironu tīklu pielietojums videospēlēs ir neiroevolūcijas izmantošana, lai spēlētu platformerus, piemēram, Super Mario Bros.
Piemēram, šis hakatona ieraksts sākas ar nezināšanu par spēli un lēnām veido pamatu tam, kas nepieciešams, lai sasniegtu līmeni.
Pašattīstošais neironu tīkls uztver spēles pašreizējo stāvokli kā flīžu režģi. Sākumā neironu tīklam nav izpratnes par to, ko nozīmē katra flīze, tikai to, ka "gaisa" flīzes atšķiras no "zemes flīzes" un "ienaidnieka flīzes".
Hakatona projektā, īstenojot neiroevolūciju, tika izmantots NEAT ģenētiskais algoritms, lai selektīvi audzētu dažādus neironu tīklus.
Nozīme
Tagad, kad esat redzējis dažus neironu tīklu piemērus, kas spēlē videospēles, jums varētu rasties jautājums, kāda ir šī visa jēga.
Tā kā videospēles ietver sarežģītu mijiedarbību starp aģentiem un viņu vidi, tas ir ideāls testēšanas lauks AI veidošanai. Virtuālās vides ir drošas un kontrolējamas, un tās nodrošina bezgalīgu datu piegādi.
Šajā jomā veiktie pētījumi ir devuši pētniekiem ieskatu par to, kā neironu tīklus var optimizēt, lai uzzinātu, kā risināt problēmas reālajā pasaulē.
Neironu tīkli ir iedvesmoti no tā, kā smadzenes darbojas dabiskajā pasaulē. Pētot, kā mākslīgie neironi uzvedas, mācoties spēlēt videospēli, mēs varam arī gūt ieskatu par to, kā cilvēka smadzenes darbi.
Secinājumi
Līdzības starp neironu tīkliem un smadzenēm ir radījušas ieskatu abās jomās. Nepārtrauktā izpēte par to, kā neironu tīkli var atrisināt problēmas, kādreiz var novest pie progresīvākiem to veidiem mākslīgais intelekts.
Iedomājieties, ka izmantojat jūsu specifikācijām pielāgotu AI, kas var spēlēt visu videospēli pirms tās iegādes, lai jūs zinātu, vai tas ir jūsu laika vērts. Vai videospēļu uzņēmumi izmantotu neironu tīklus, lai uzlabotu spēles dizainu, pielāgotu līmeni un pretinieka grūtības?
Kas, jūsuprāt, notiks, kad neironu tīkli kļūs par labākajiem spēlētājiem?
Atstāj atbildi