Vaizdo žaidimai ir toliau yra iššūkis milijardams žaidėjų visame pasaulyje. Galbūt jūs to dar nežinote, bet mašininio mokymosi algoritmai taip pat pradėjo reaguoti į iššūkį.
Šiuo metu AI srityje atliekama daug tyrimų, siekiant išsiaiškinti, ar mašininio mokymosi metodus galima pritaikyti vaizdo žaidimams. Tą rodo didelė pažanga šioje srityje mašininis mokymasis agentai gali būti naudojami imituoti ar net pakeisti žmogaus žaidėją.
Ką tai reiškia ateičiai Video žaidimai?
Ar šie projektai yra tik pramoga, ar yra gilesnių priežasčių, kodėl tiek daug tyrinėtojų daugiausia dėmesio skiria žaidimams?
Šiame straipsnyje trumpai apžvelgsime AI istoriją vaizdo žaidimuose. Vėliau pateiksime trumpą kai kurių mašininio mokymosi metodų, kuriuos galime naudoti norėdami išmokti įveikti žaidimus, apžvalgą. Tada apžvelgsime keletą sėkmingų programų neuroniniai tinklai išmokti ir įsisavinti konkrečius vaizdo žaidimus.
Trumpa AI istorija žaidimuose
Prieš pradėdami išsiaiškinti, kodėl neuroniniai tinklai tapo idealiu algoritmu sprendžiant vaizdo žaidimus, trumpai pažvelkime į tai, kaip kompiuterių mokslininkai naudojo vaizdo žaidimus, siekdami patobulinti savo AI tyrimus.
Galite teigti, kad vaizdo žaidimai nuo pat savo atsiradimo buvo karšta AI besidominčių tyrinėtojų tyrimų sritis.
Nors iš pradžių šachmatai nėra vaizdo žaidimai, pirmaisiais dirbtinio intelekto laikais jiems buvo skiriamas didelis dėmesys. 1951 m. daktaras Dietrichas Prinzas parašė žaidimo šachmatais programą naudodamas skaitmeninį kompiuterį Ferranti Mark 1. Tai buvo dar tuo metu, kai šie dideli kompiuteriai turėjo skaityti programas iš popierinės juostos.
Pati programa nebuvo visiškas šachmatų AI. Dėl kompiuterio apribojimų „Prinz“ galėjo sukurti tik programą, kuri išspręstų „mate du“ šachmatų problemas. Vidutiniškai programa užtruko 15-20 minučių, kad suskaičiuotų visus galimus baltųjų ir juodųjų žaidėjų judesius.
Šachmatų ir šaškių AI tobulinimas per dešimtmečius nuolat tobulėjo. Pažanga pasiekė kulminaciją 1997 m., kai IBM „Deep Blue“ per šešių partijų porą įveikė Rusijos šachmatų didmeistrią Garį Kasparovą. Šiais laikais šachmatų varikliai, kuriuos galite rasti savo mobiliajame telefone, gali nugalėti Deep Blue.
AI priešininkai pradėjo populiarėti vaizdo arkadinių žaidimų aukso amžiuje. 1978 m. „Space Invaders“ ir 1980-ųjų „Pac-Man“ yra vieni iš pramonės pionierių kuriant dirbtinį intelektą, galintį mesti iššūkį net patyrusiems žaidimų žaidimų veteranams.
Visų pirma, „Pac-Man“ buvo populiarus AI tyrėjų žaidimas, su kuriuo galėjo eksperimentuoti. Įvairūs konkursai Ms. Pac-Man buvo surengti siekiant nustatyti, kuri komanda galėtų sugalvoti geriausią AI, kad įveiktų žaidimą.
Žaidimo AI ir euristiniai algoritmai toliau vystėsi, nes atsirado protingesnių priešininkų poreikis. Pavyzdžiui, kovos dirbtinis intelektas išpopuliarėjo, kai tokie žanrai kaip pirmojo asmens šaudyklės tapo labiau populiarūs.
Mašininis mokymasis vaizdo žaidimuose
Kadangi mašininio mokymosi metodai greitai išpopuliarėjo, įvairūs tyrimų projektai bandė naudoti šiuos naujus metodus žaidžiant vaizdo žaidimus.
Tokie žaidimai kaip „Dota 2“, „StarCraft“ ir „Doom“ gali sukelti problemų mašininio mokymosi algoritmai išspręsti. Giluminio mokymosi algoritmai, ypač sugebėjo pasiekti ir net pranokti žmogaus lygio našumą.
Šios Arkados mokymosi aplinka arba ALE suteikė mokslininkams sąsają daugiau nei šimtui „Atari 2600“ žaidimų. Atvirojo kodo platforma leido tyrėjams palyginti mašininio mokymosi metodų našumą klasikiniuose Atari vaizdo žaidimuose. „Google“ netgi paskelbė savo popierius naudojant septynis žaidimus iš ALE
Tuo tarpu tokie projektai kaip VizDoom AI tyrėjams suteikė galimybę išmokyti mašininio mokymosi algoritmus žaisti 3D pirmojo asmens šaudymo žaidimus.
Kaip tai veikia: kai kurios pagrindinės sąvokos
Neuroniniai tinklai
Dauguma būdų, kaip išspręsti vaizdo žaidimus naudojant mašininį mokymąsi, apima algoritmo tipą, žinomą kaip neuroninis tinklas.
Galite galvoti apie neuroninį tinklą kaip programą, kuri bando imituoti, kaip gali veikti smegenys. Panašiai kaip mūsų smegenys susideda iš neuronų, perduodančių signalą, neuroniniame tinkle taip pat yra dirbtinių neuronų.
Šie dirbtiniai neuronai taip pat perduoda signalus vienas kitam, o kiekvienas signalas yra tikrasis skaičius. Neuroniniame tinkle yra keli sluoksniai tarp įvesties ir išvesties sluoksnių, vadinamų giliuoju neuroniniu tinklu.
Armatūros mokymasis
Kita įprasta mašininio mokymosi technika, susijusi su vaizdo žaidimų mokymusi, yra mokymosi sustiprinimo idėja.
Ši technika yra agento mokymo procesas, naudojant atlygį ar bausmes. Taikydamas šį metodą agentas turėtų sugebėti sugalvoti problemos sprendimą per bandymus ir klaidas.
Tarkime, norime, kad dirbtinis intelektas sužinotų, kaip žaisti žaidimą „Snake“. Žaidimo tikslas paprastas: gaukite kuo daugiau taškų vartodami daiktus ir vengdami augančios uodegos.
Mokydamiesi sustiprinimo, galime apibrėžti atlygio funkciją R. Funkcija prideda taškus, kai gyvatė sunaudoja daiktą, ir atima taškus, kai gyvatė atsitrenkia į kliūtį. Atsižvelgiant į dabartinę aplinką ir galimų veiksmų rinkinį, mūsų mokymosi sustiprinimo modelis bandys apskaičiuoti optimalią „politiką“, kuri maksimaliai padidintų mūsų atlygio funkciją.
Neuroevoliucija
Laikydamiesi gamtos įkvėpimo temos, mokslininkai taip pat sėkmingai pritaikė ML vaizdo žaidimams, taikydami techniką, vadinamą neuroevoliucija.
Užuot naudoję gradiento nusileidimas Norėdami atnaujinti tinklo neuronus, galime naudoti evoliucinius algoritmus, kad pasiektume geresnių rezultatų.
Evoliuciniai algoritmai paprastai pradedami generuojant pradinę atsitiktinių individų populiaciją. Tada mes vertiname šiuos asmenis pagal tam tikrus kriterijus. Geriausi individai yra parenkami kaip „tėvai“ ir auginami kartu, kad suformuotų naują individų kartą. Tada šie asmenys pakeis mažiausiai tinkančius asmenis populiacijoje.
Šie algoritmai taip pat paprastai įveda tam tikrą mutacijos operaciją kryžminimo arba „veisimo“ žingsnyje, kad išlaikytų genetinę įvairovę.
Mašininio mokymosi vaizdo žaidimuose tyrimo pavyzdys
OpenAI Five
OpenAI Five yra OpenAI kompiuterinė programa, kuria siekiama žaisti DOTA 2 – populiarų kelių žaidėjų mobiliojo mūšio arenos (MOBA) žaidimą.
Programa panaudojo esamus sustiprinimo mokymosi metodus, pritaikytus mokytis iš milijonų kadrų per sekundę. Dėl paskirstytos mokymo sistemos OpenAI kiekvieną dieną galėjo žaisti 180 metų žaidimus.
Po treniruočių laikotarpio OpenAI Five sugebėjo pasiekti ekspertų lygio rezultatus ir pademonstruoti bendradarbiavimą su žmonėmis. 2019 m. OpenAI penki sugebėjo nugalėti 99.4% žaidėjų viešose rungtynėse.
Kodėl OpenAI nusprendė dėl šio žaidimo? Tyrėjų teigimu, DOTA 2 turėjo sudėtingą mechaniką, kuri buvo už esamų gilių ribų stiprinimas algoritmai.
Super Mario Bros
Kitas įdomus neuroninių tinklų pritaikymas vaizdo žaidimuose yra neuroevoliucijos naudojimas žaidžiant platformingus, tokius kaip Super Mario Bros.
Pavyzdžiui, tai hakatono įrašas prasideda nežinant žaidimo ir lėtai sukuria pagrindą tam, ko reikia norint pereiti per lygį.
Savaime besivystantis neuroninis tinklas įgauna dabartinę žaidimo būseną kaip plytelių tinklelis. Iš pradžių neuroninis tinklas nesupranta, ką reiškia kiekviena plytelė, tik tai, kad „oro“ plytelės skiriasi nuo „žemės plytelių“ ir „priešo plytelių“.
Hakatono projekto neuroevoliucijos įgyvendinimas naudojo NEAT genetinį algoritmą, kad selektyviai veistų skirtingus neuroninius tinklus.
Svarba
Dabar, kai matėte kai kuriuos neuroninių tinklų, žaidžiančių vaizdo žaidimus, pavyzdžius, jums gali kilti klausimas, kokia viso to prasmė.
Kadangi vaizdo žaidimai apima sudėtingą agentų ir jų aplinkos sąveiką, tai yra puiki AI bandymų vieta. Virtuali aplinka yra saugi ir valdoma ir suteikia begalinį duomenų tiekimą.
Šioje srityje atlikti tyrimai leido tyrėjams suprasti, kaip galima optimizuoti neuroninius tinklus, kad išmoktų spręsti problemas realiame pasaulyje.
Neuronų tinklai yra įkvėpti to, kaip smegenys veikia natūraliame pasaulyje. Ištyrę, kaip dirbtiniai neuronai elgiasi mokantis žaisti vaizdo žaidimą, taip pat galime suprasti, kaip žmogaus smegenys veikia.
Išvada
Neuroninių tinklų ir smegenų panašumai paskatino įžvalgas abiejose srityse. Tęsiami tyrimai, kaip neuroniniai tinklai gali išspręsti problemas, kada nors gali sukelti pažangesnių formų dirbtinis intelektas.
Įsivaizduokite, kad naudojate pagal jūsų specifikacijas pritaikytą dirbtinį intelektą, kuris gali žaisti visą vaizdo žaidimą prieš jį įsigyjant, kad žinotumėte, ar verta skirti laiko. Ar vaizdo žaidimų įmonės naudotų neuroninius tinklus, kad pagerintų žaidimo dizainą, koregavimo lygį ir priešininko sunkumus?
Kaip manote, kas nutiks, kai neuroniniai tinklai taps geriausiais žaidėjais?
Palikti atsakymą