Video igre i dalje predstavljaju izazov za milijarde igrača širom svijeta. Možda to još niste znali, ali algoritmi mašinskog učenja su također počeli ispunjavati izazove.
Trenutno postoji značajna količina istraživanja u oblasti AI kako bi se videlo da li se metode mašinskog učenja mogu primeniti na video igre. Značajan napredak u ovoj oblasti to pokazuje mašinsko učenje agenti se mogu koristiti za oponašanje ili čak zamjenu ljudskog igrača.
Šta to znači za budućnost video igrice?
Jesu li ovi projekti samo iz zabave ili postoje dublji razlozi zašto se toliko istraživača fokusira na igre?
Ovaj članak će ukratko istražiti historiju AI u video igrama. Nakon toga, dat ćemo vam kratak pregled nekih tehnika mašinskog učenja koje možemo koristiti da naučimo kako pobijediti igre. Zatim ćemo pogledati neke uspješne primjene neuronske mreže naučiti i savladati određene video igre.
Kratka istorija AI u igrama
Prije nego što uđemo u to zašto su neuronske mreže postale idealan algoritam za rješavanje video igrica, hajde da ukratko pogledamo kako su kompjuterski naučnici koristili video igrice kako bi unaprijedili svoja istraživanja AI.
Možete tvrditi da su, od svog početka, video igre bile vruća oblast istraživanja za istraživače zainteresovane za AI.
Iako nije striktno video igra po poreklu, šah je bio veliki fokus u ranim danima AI. Godine 1951. dr. Dietrich Prinz napisao je program za igranje šaha koristeći Ferranti Mark 1 digitalni kompjuter. To je bilo daleko u doba kada su ovi glomazni računari morali čitati programe sa papirne trake.
Sam program nije bio potpuna šahovska umjetna inteligencija. Zbog ograničenja kompjutera, Prinz je mogao kreirati samo program koji je rješavao šahovske probleme mate-in-dva. Programu je u prosjeku trebalo 15-20 minuta da izračuna svaki mogući potez za igrače bijelo-crnih.
Rad na poboljšanju veštačke inteligencije šaha i dama stalno se poboljšavao tokom decenija. Napredak je dostigao vrhunac 1997. godine kada je IBM-ov Deep Blue pobedio ruskog šahovskog velemajstora Garija Kasparova u par mečeva od šest gemova. U današnje vrijeme, šahovske mašine koje možete pronaći na svom mobilnom telefonu mogu pobijediti Deep Blue.
AI protivnici su počeli da dobijaju na popularnosti tokom zlatnog doba video arkadnih igara. Space Invaders iz 1978. i Pac-Man iz 1980-ih su neki od pionira industrije u stvaranju AI koji može dovoljno izazvati čak i najveteranije među arkadnim igračima.
Pac-Man je, posebno, bila popularna igra na kojoj su istraživači AI eksperimentirali. Razno takmičenja za gospođu Pac-Man su organizirani kako bi se odredilo koji tim bi mogao smisliti najbolju AI za pobjedu u igri.
AI i heuristički algoritmi nastavili su da se razvijaju kako se pojavila potreba za pametnijim protivnicima. Na primjer, borbena umjetna inteligencija je porasla u popularnosti jer su žanrovi poput pucačina u prvom licu postajali sve popularniji.
Mašinsko učenje u video igrama
Kako su tehnike mašinskog učenja brzo postajale sve popularnije, različiti istraživački projekti su pokušavali da koriste ove nove tehnike za igranje video igrica.
Igre kao što su Dota 2, StarCraft i Doom mogu biti problem za njih Algoritmi mašinskog učenja riješiti. Algoritmi dubokog učenja, posebno, bili u stanju da postignu, pa čak i nadmaše performanse na ljudskom nivou.
The Arcade Learning Environment ili ALE je dao istraživačima interfejs za preko stotinu Atari 2600 igara. Platforma otvorenog koda omogućila je istraživačima da uporede performanse tehnika mašinskog učenja na klasičnim Atari video igrama. Google je čak objavio i svoje papir koristeći sedam igara iz ALE-a
U međuvremenu, projekti poput VizDoom dao je istraživačima umjetne inteligencije priliku da treniraju algoritme mašinskog učenja za igranje 3D pucačina iz prvog lica.
Kako to funkcionira: neki ključni koncepti
Neuronske mreže
Većina pristupa rješavanju video igara s mašinskim učenjem uključuje tip algoritma poznatog kao neuronska mreža.
Neuralnu mrežu možete zamisliti kao program koji pokušava oponašati kako bi mozak mogao funkcionirati. Slično kao što je naš mozak sastavljen od neurona koji prenose signal, neuronska mreža također sadrži umjetne neurone.
Ovi umjetni neuroni također prenose signale jedni drugima, pri čemu je svaki signal stvarni broj. Neuralna mreža sadrži više slojeva između ulaznog i izlaznog sloja, koji se nazivaju duboka neuronska mreža.
Ojačavanje učenja
Još jedna uobičajena tehnika mašinskog učenja koja je relevantna za učenje video igrica je ideja učenja s pojačanjem.
Ova tehnika je proces obuke agenta koristeći nagrade ili kazne. Sa ovim pristupom, agent bi trebao biti u mogućnosti da dođe do rješenja problema putem pokušaja i grešaka.
Recimo da želimo da veštačka inteligencija sazna kako da igra igru Snake. Cilj igre je jednostavan: osvojiti što više bodova konzumirajući predmete i izbjegavajući svoj rastući rep.
Sa učenjem potkrepljenja možemo definirati funkciju nagrađivanja R. Funkcija dodaje bodove kada zmija pojede predmet i oduzima bodove kada zmija udari prepreku. S obzirom na trenutno okruženje i skup mogućih radnji, naš model učenja s pojačavanjem pokušat će izračunati optimalnu 'politiku' koja maksimizira našu funkciju nagrađivanja.
Neuroevolucija
Držeći se teme inspiracije prirodom, istraživači su takođe postigli uspeh u primeni ML-a na video igrice kroz tehniku poznatu kao neuroevolucija.
Umjesto da koristi gradijentni spust za ažuriranje neurona u mreži, možemo koristiti evolucijske algoritme za postizanje boljih rezultata.
Evolucijski algoritmi obično počinju generiranjem početne populacije nasumičnih pojedinaca. Zatim procjenjujemo ove osobe koristeći određene kriterije. Najbolji pojedinci se biraju za „roditelje“ i uzgajaju zajedno kako bi formirali novu generaciju pojedinaca. Ove osobe će tada zamijeniti one koji su najmanje sposobni u populaciji.
Ovi algoritmi takođe obično uvode neki oblik operacije mutacije tokom ukrštanja ili koraka "oplemenjivanja" kako bi se održala genetska raznolikost.
Primer istraživanja o mašinskom učenju u video igrama
OpenAI Five
OpenAI Five je kompjuterski program kompanije OpenAI koji ima za cilj igranje DOTA 2, popularne igre za mobilne borbene arene za više igrača (MOBA).
Program je koristio postojeće tehnike učenja s pojačavanjem, skalirane da uči iz miliona kadrova u sekundi. Zahvaljujući distribuiranom sistemu obuke, OpenAI je mogao da igra igre vredne 180 godina svakog dana.
Nakon perioda obuke, OpenAI Five je bio u mogućnosti da postigne performanse na nivou stručnjaka i demonstrira saradnju sa ljudskim igračima. U 2019, OpenAI pet je bio u mogućnosti poraz 99.4% igrača na javnim utakmicama.
Zašto se OpenAI odlučio za ovu igru? Prema istraživačima, DOTA 2 je imala složenu mehaniku koja je bila izvan dosega postojećeg dubina učenje ojačavanja algoritmi.
Super Mario Bros.
Još jedna zanimljiva primjena neuronskih mreža u video igrama je korištenje neuroevolucije za igranje platformera kao što je Super Mario Bros.
Na primjer, ovo ulaz na hakaton počinje bez znanja o igrici i polako gradi temelj onoga što je potrebno za napredak kroz nivo.
Samorazvijajuća neuronska mreža preuzima trenutno stanje igre kao mrežu pločica. U početku, neuronska mreža nema razumijevanja o tome šta svaka pločica znači, samo što se "vazdušne" pločice razlikuju od "pločica zemlje" i "neprijateljskih pločica".
Implementacija neuroevolucije projekta hackathon koristila je NEAT genetski algoritam za selektivno uzgoj različitih neuronskih mreža.
značaj
Sada kada ste vidjeli neke primjere neuronskih mreža koje igraju video igrice, možda se pitate koja je svrha svega ovoga.
Budući da video igre uključuju složene interakcije između agenata i njihovog okruženja, to je savršeno poligon za testiranje AI. Virtuelna okruženja su bezbedna i podložna kontroli i pružaju beskonačnu količinu podataka.
Istraživanja u ovoj oblasti dala su istraživačima uvid u to kako se neuronske mreže mogu optimizirati da nauče kako rješavati probleme u stvarnom svijetu.
Neuralne mreže inspirisani su načinom na koji mozak funkcioniše u prirodnom svetu. Proučavajući kako se umjetni neuroni ponašaju kada uče kako igrati video igricu, također možemo dobiti uvid u to kako se ljudski mozak radovi.
zaključak
Sličnosti između neuronskih mreža i mozga dovele su do uvida u oba polja. Kontinuirano istraživanje o tome kako neuronske mreže mogu riješiti probleme jednog dana bi moglo dovesti do naprednijih oblika umjetne inteligencije.
Zamislite da koristite umjetnu inteligenciju prilagođenu vašim specifikacijama koja može igrati cijelu video igricu prije nego što je kupite kako biste znali da li je vrijedna vašeg vremena. Da li bi kompanije za video igre koristile neuronske mreže da poboljšaju dizajn igre, nivo podešavanja i poteškoće protivnika?
Šta mislite da će se dogoditi kada neuronske mreže postanu vrhunski igrači?
Ostavite odgovor