Videospil er fortsat en udfordring for milliarder af spillere rundt om i verden. Du ved det måske ikke endnu, men maskinlæringsalgoritmer er også begyndt at tage udfordringen op.
Der er i øjeblikket en betydelig mængde forskning inden for AI for at se, om maskinlæringsmetoder kan anvendes til videospil. Det viser betydelige fremskridt på dette område machine learning agenter kan bruges til at efterligne eller endda erstatte den menneskelige spiller.
Hvad betyder det for fremtiden videospil?
Er disse projekter blot for sjov, eller er der dybere grunde til, at så mange forskere fokuserer på spil?
Denne artikel vil kort udforske historien om AI i videospil. Bagefter giver vi dig et hurtigt overblik over nogle maskinlæringsteknikker, vi kan bruge til at lære at slå spil. Vi vil derefter se på nogle vellykkede ansøgninger af neurale net at lære og mestre specifikke videospil.
Kort historie om AI i spil
Før vi kommer ind på, hvorfor neurale net er blevet den ideelle algoritme til at løse videospil, lad os kort se på, hvordan computerforskere har brugt videospil til at fremme deres forskning i AI.
Du kan argumentere for, at videospil fra starten har været et varmt forskningsområde for forskere, der er interesseret i AI.
Selvom det ikke udelukkende er et videospil af oprindelse, har skak været et stort fokus i de tidlige dage af AI. I 1951 skrev Dr. Dietrich Prinz et skakprogram ved hjælp af Ferranti Mark 1 digital computer. Dette var helt tilbage i den æra, hvor disse omfangsrige computere skulle læse programmer fra papirbånd.
Selve programmet var ikke en komplet skak-AI. På grund af computerens begrænsninger kunne Prinz kun skabe et program, der løste makker-i-to-skakproblemer. I gennemsnit tog programmet 15-20 minutter at beregne alle mulige træk for de hvide og sorte spillere.
Arbejdet med at forbedre skak og dam AI er blevet støt forbedret gennem årtier. Fremskridtet nåede sit klimaks i 1997, da IBM's Deep Blue besejrede den russiske skak-stormester Garry Kasparov i et par seks-kampe. I dag kan skakmotorer, du kan finde på din mobiltelefon, besejre Deep Blue.
AI-modstandere begyndte at vinde popularitet under videoarkadespils guldalder. 1978's Space Invaders og 1980'erne Pac-Man er nogle af branchens pionerer i at skabe AI, der i tilstrækkelig grad kan udfordre selv den mest veteran af arkadespillere.
Især Pac-Man var et populært spil for AI-forskere at eksperimentere med. Forskellige konkurrencer for Ms. Pac-Man er blevet organiseret for at afgøre, hvilket hold der kunne komme med den bedste AI til at slå spillet.
Spil-AI og heuristiske algoritmer fortsatte med at udvikle sig, efterhånden som behovet for smartere modstandere opstod. For eksempel steg kamp-AI i popularitet, da genrer såsom first-person shooters blev mere mainstream.
Machine Learning i videospil
Da maskinlæringsteknikker hurtigt steg i popularitet, forsøgte forskellige forskningsprojekter at bruge disse nye teknikker til at spille videospil.
Spil som Dota 2, StarCraft og Doom kan fungere som problemer for disse maskinlæringsalgoritmer at løse. Deep learning algoritmer, især var i stand til at opnå og endda overgå præstationer på menneskeligt niveau.
Arcade læringsmiljø eller ALE gav forskere en grænseflade til over hundrede Atari 2600-spil. Open source-platformen gjorde det muligt for forskere at benchmarke ydeevnen af maskinlæringsteknikker på klassiske Atari-videospil. Google udgav endda deres egne papir ved hjælp af syv spil fra ALE
I mellemtiden projekter som VizDoom gav AI-forskere mulighed for at træne maskinlæringsalgoritmer til at spille 3D first-person shooters.
Hvordan virker det: Nogle nøglebegreber
Neurale netværk
De fleste tilgange til at løse videospil med maskinlæring involverer en type algoritme kendt som et neuralt netværk.
Du kan tænke på et neuralt net som et program, der forsøger at efterligne, hvordan en hjerne kan fungere. I lighed med hvordan vores hjerne er sammensat af neuroner, der transmitterer et signal, indeholder et neuralt net også kunstige neuroner.
Disse kunstige neuroner overfører også signaler til hinanden, hvor hvert signal er et faktisk tal. Et neuralt net indeholder flere lag mellem input- og outputlagene, kaldet et dybt neuralt netværk.
Forstærkning læring
En anden almindelig maskinlæringsteknik, der er relevant for at lære videospil, er ideen om forstærkningslæring.
Denne teknik er processen med at træne en agent ved hjælp af belønninger eller straffe. Med denne tilgang bør agenten være i stand til at komme med en løsning på et problem gennem forsøg og fejl.
Lad os sige, at vi vil have en AI til at finde ud af, hvordan man spiller spillet Snake. Spillets mål er simpelt: Få så mange point som muligt ved at indtage genstande og undgå din voksende hale.
Med forstærkningslæring kan vi definere en belønningsfunktion R. Funktionen tilføjer point, når en slange forbruger en genstand og trækker point fra når slangen rammer en forhindring. Givet det nuværende miljø og et sæt mulige handlinger, vil vores forstærkende læringsmodel forsøge at beregne den optimale 'politik', der maksimerer vores belønningsfunktion.
Neuroevolution
I tråd med temaet med at blive inspireret af naturen, har forskere også fundet succes med at anvende ML til videospil gennem en teknik kendt som neuroevolution.
I stedet for at bruge gradient nedstigning for at opdatere neuroner i et netværk, kan vi bruge evolutionære algoritmer til at opnå bedre resultater.
Evolutionære algoritmer starter typisk med at generere en indledende population af tilfældige individer. Vi evaluerer derefter disse personer ud fra bestemte kriterier. De bedste individer vælges som "forældre" og avles sammen for at danne en ny generation af individer. Disse individer vil så erstatte de mindst egnede individer i befolkningen.
Disse algoritmer introducerer også typisk en form for mutationsoperation under overkrydsnings- eller "avlstrinnet" for at opretholde genetisk diversitet.
Eksempel på forskning i maskinlæring i videospil
OpenAI Five
OpenAI Five er et computerprogram fra OpenAI, der har til formål at spille DOTA 2, et populært multiplayer mobile battle arena (MOBA) spil.
Programmet udnyttede eksisterende forstærkningslæringsteknikker, skaleret til at lære fra millioner af billeder i sekundet. Takket være et distribueret træningssystem var OpenAI i stand til at spille 180 års spil hver dag.
Efter træningsperioden var OpenAI Five i stand til at opnå præstationer på ekspertniveau og demonstrere samarbejde med menneskelige spillere. I 2019 var OpenAI five i stand til besejre 99.4 % af spillerne i offentlige kampe.
Hvorfor besluttede OpenAI sig for dette spil? Ifølge forskerne havde DOTA 2 kompleks mekanik, der var uden for rækkevidde af eksisterende dyb forstærkning læring algoritmer.
Super Mario Bros
En anden interessant anvendelse af neurale net i videospil er brugen af neuroevolution til at spille platformspillere som Super Mario Bros.
For eksempel dette hackathon-adgang starter med ikke at have noget kendskab til spillet og bygger langsomt et fundament af, hvad der skal til for at komme videre gennem et niveau.
Det selvudviklende neurale net indtager spillets nuværende tilstand som et gitter af fliser. Til at begynde med har neuralnettet ingen forståelse af, hvad hver flise betyder, kun at "luft"-fliser er forskellige fra "jordfliser" og "fjendtlige fliser."
Hackathon-projektets implementering af en neuroevolution brugte den genetiske NEAT-algoritme til at avle forskellige neurale net selektivt.
Vigtighed
Nu hvor du har set nogle eksempler på neurale net, der spiller videospil, undrer du dig måske over, hvad meningen med alt dette er.
Da videospil involverer komplekse interaktioner mellem agenter og deres miljøer, er det den perfekte testplads til at lave AI. Virtuelle miljøer er sikre og kontrollerbare og giver en uendelig forsyning af data.
Forskning lavet på dette felt har givet forskere indsigt i, hvordan neurale net kan optimeres til at lære at løse problemer i den virkelige verden.
Neurale netværk er inspireret af, hvordan hjerner fungerer i den naturlige verden. Ved at studere, hvordan kunstige neuroner opfører sig, når de lærer at spille et videospil, kan vi også få indsigt i, hvordan menneskelige hjerne fungerer.
Konklusion
Ligheder mellem neurale netværk og hjernen har ført til indsigt på begge områder. Den fortsatte forskning i, hvordan neurale net kan løse problemer, kan en dag føre til mere avancerede former for kunstig intelligens.
Forestil dig at bruge en AI, der er skræddersyet til dine specifikationer, og som kan spille et helt videospil, før du køber det, for at fortælle dig, om det er din tid værd. Ville videospilfirmaer bruge neurale net til at forbedre spildesign, tweak-niveau og modstanders sværhedsgrad?
Hvad tror du, der vil ske, når neurale net bliver de ultimative spillere?
Giv en kommentar