Videohry naďalej predstavujú výzvu pre miliardy hráčov na celom svete. Možno ste to ešte nevedeli, ale algoritmy strojového učenia začali tiež čeliť tejto výzve.
V súčasnosti prebieha v oblasti AI značné množstvo výskumov, aby sa zistilo, či je možné metódy strojového učenia aplikovať na videohry. Dokazuje to značný pokrok v tejto oblasti strojové učenie agenti môžu byť použité na napodobnenie alebo dokonca nahradenie ľudského hráča.
Čo to znamená pre budúcnosť videohry?
Sú tieto projekty len pre zábavu, alebo existujú hlbšie dôvody, prečo sa toľko výskumníkov zameriava na hry?
Tento článok stručne preskúma históriu AI vo videohrách. Potom vám poskytneme rýchly prehľad niektorých techník strojového učenia, ktoré môžeme použiť, aby sme sa naučili poraziť hry. Potom sa pozrieme na niektoré úspešné aplikácie neurónové siete učiť sa a ovládať konkrétne videohry.
Stručná história AI v hrách
Než sa dostaneme k tomu, prečo sa neurónové siete stali ideálnym algoritmom na riešenie videohier, pozrime sa stručne na to, ako počítačoví vedci použili videohry na pokrok vo svojom výskume AI.
Môžete namietať, že od svojho počiatku boli videohry horúcou oblasťou výskumu pre výskumníkov zaujímajúcich sa o AI.
Hoci pôvodne nešlo o videohru, šach bol v počiatkoch AI veľkým záujmom. V roku 1951 Dr. Dietrich Prinz napísal program na hranie šachu pomocou digitálneho počítača Ferranti Mark 1. Bolo to v ére, keď tieto objemné počítače museli čítať programy z papierovej pásky.
Samotný program nebol úplnou šachovou AI. Kvôli obmedzeniam počítača mohol Prinz vytvoriť iba program, ktorý vyriešil šachové problémy typu mat-in-dva. V priemere program trval 15-20 minút, kým vypočítal každý možný ťah pre bielych a čiernych hráčov.
Práca na zlepšovaní umelej inteligencie šachu a dámy sa v priebehu desaťročí neustále zlepšovala. Pokrok dosiahol svoj vrchol v roku 1997, keď IBM Deep Blue porazila ruského šachového veľmajstra Garryho Kasparova v páre zápasov na šesť hier. V súčasnosti môžu šachové motory, ktoré nájdete vo svojom mobilnom telefóne, poraziť Deep Blue.
Odporcovia AI začali získavať na popularite počas zlatého veku video arkádových hier. Space Invaders z roku 1978 a Pac-Man z roku 1980 sú niektorými z priekopníkov tohto odvetvia vo vytváraní AI, ktorá dokáže dostatočne vyzvať aj tých najvernejších arkádových hráčov.
Najmä Pac-Man bol populárnou hrou pre výskumníkov AI na experimentovanie. Rôzne súťaže pre pani Pac-Man boli zorganizované s cieľom určiť, ktorý tím by mohol prísť s najlepšou AI, aby porazil hru.
Herná umelá inteligencia a heuristické algoritmy sa naďalej vyvíjali, pretože vznikla potreba inteligentnejších protivníkov. Napríklad bojová AI vzrástla v popularite, pretože žánre, ako sú strieľačky z pohľadu prvej osoby, sa stali bežnejšími.
Strojové učenie vo videohrách
Keďže techniky strojového učenia rýchlo vzrástli na popularite, rôzne výskumné projekty sa pokúsili použiť tieto nové techniky na hranie videohier.
Problémom môžu byť hry ako Dota 2, StarCraft a Doom algoritmy strojového učenia vyriešiť. Algoritmy hlbokého učenia, najmä dokázali dosiahnuť a dokonca prekonať výkon na úrovni ľudí.
Arkádové vzdelávacie prostredie alebo ALE poskytli výskumníkom rozhranie pre viac ako sto hier Atari 2600. Platforma s otvoreným zdrojom umožnila výskumníkom porovnávať výkon techník strojového učenia na klasických videohrách Atari. Google dokonca zverejnil ich vlastné papier pomocou siedmich hier z ALE
Medzitým projekty ako VizDoom dal výskumníkom AI príležitosť trénovať algoritmy strojového učenia na hranie 3D strieľačiek z pohľadu prvej osoby.
Ako to funguje: Niektoré kľúčové pojmy
Neurálne siete
Väčšina prístupov k riešeniu videohier pomocou strojového učenia zahŕňa typ algoritmu známy ako neurónová sieť.
Neurónovú sieť si môžete predstaviť ako program, ktorý sa snaží napodobniť fungovanie mozgu. Podobne ako sa náš mozog skladá z neurónov, ktoré prenášajú signál, aj neurónová sieť obsahuje umelé neuróny.
Tieto umelé neuróny si tiež navzájom prenášajú signály, pričom každý signál je skutočné číslo. Neurónová sieť obsahuje viacero vrstiev medzi vstupnou a výstupnou vrstvou, ktoré sa nazývajú hlboká neurónová sieť.
Posilnenie učenia
Ďalšou bežnou technikou strojového učenia relevantnou pre učenie sa videohier je myšlienka posilňovania učenia.
Táto technika je proces výcviku agenta pomocou odmien alebo trestov. S týmto prístupom by mal byť agent schopný prísť s riešením problému prostredníctvom pokusov a omylov.
Povedzme, že chceme, aby AI zistila, ako hrať hru Snake. Cieľ hry je jednoduchý: získať čo najviac bodov konzumáciou predmetov a vyhýbaním sa rastúcemu chvostu.
Pomocou posilňovacieho učenia môžeme definovať funkciu odmeňovania R. Táto funkcia pridáva body, keď had spotrebuje predmet a odpočítava body, keď had narazí na prekážku. Vzhľadom na súčasné prostredie a súbor možných akcií sa náš model učenia posilňovania pokúsi vypočítať optimálnu „politiku“, ktorá maximalizuje našu funkciu odmeňovania.
Neuroevolúcia
Vedci, ktorí sa inšpirovali prírodou, našli úspech aj pri aplikácii ML na videohry prostredníctvom techniky známej ako neuroevolúcia.
Namiesto použitia gradientný zostup na aktualizáciu neurónov v sieti môžeme použiť evolučné algoritmy na dosiahnutie lepších výsledkov.
Evolučné algoritmy zvyčajne začínajú generovaním počiatočnej populácie náhodných jedincov. Tieto osoby potom hodnotíme pomocou určitých kritérií. Najlepší jednotlivci sú vybraní ako „rodičia“ a sú chovaní spolu, aby vytvorili novú generáciu jednotlivcov. Títo jedinci potom nahradia najmenej zdatných jedincov v populácii.
Tieto algoritmy tiež zvyčajne zavádzajú určitú formu operácie mutácie počas kroku kríženia alebo „šľachtenia“, aby sa zachovala genetická diverzita.
Ukážkový výskum strojového učenia vo videohrách
OpenAI Five
OpenAI Five je počítačový program od OpenAI, ktorého cieľom je hrať DOTA 2, populárnu hru v mobilnej bojovej aréne (MOBA) pre viacerých hráčov.
Program využíval existujúce techniky učenia sa posilňovania, ktoré boli prispôsobené na učenie sa z miliónov snímok za sekundu. Vďaka distribuovanému školiacemu systému bola OpenAI schopná hrať hry v hodnote 180 rokov každý deň.
Po tréningovom období bola OpenAI Five schopná dosiahnuť výkon na expertnej úrovni a preukázať spoluprácu s ľudskými hráčmi. V roku 2019 to OpenAI päť dokázalo poraziť 99.4% hráčov na verejných zápasoch.
Prečo sa OpenAI rozhodla pre túto hru? Podľa výskumníkov mala DOTA 2 zložitú mechaniku, ktorá bola mimo dosahu existujúcej hĺbky posilňovanie učenia algoritmy.
Super Mario Bros
Ďalšou zaujímavou aplikáciou neurónových sietí vo videohrách je použitie neuroevolúcie na hranie plošinoviek, ako je Super Mario Bros.
Napríklad toto vstup na hackathon začína tým, že o hre nemáte žiadne znalosti a pomaly si budujete základy toho, čo je potrebné na postup cez úroveň.
Samovyvíjajúca sa neurónová sieť preberá aktuálny stav hry ako mriežku dlaždíc. Najprv neurónová sieť nerozumie tomu, čo jednotlivé dlaždice znamenajú, iba to, že dlaždice „vzduch“ sa líšia od „zemných dlaždíc“ a „nepriateľských dlaždíc“.
Implementácia neuroevolúcie v projekte hackathon využívala genetický algoritmus NEAT na selektívne množenie rôznych neurónových sietí.
Význam
Teraz, keď ste videli niekoľko príkladov neurónových sietí pri hraní videohier, možno sa pýtate, aký je zmysel toho všetkého.
Keďže videohry zahŕňajú komplexné interakcie medzi agentmi a ich prostrediami, je to perfektný testovací priestor na vytváranie AI. Virtuálne prostredia sú bezpečné a ovládateľné a poskytujú nekonečné množstvo údajov.
Výskum v tejto oblasti umožnil výskumníkom pochopiť, ako možno optimalizovať neurónové siete, aby sa naučili riešiť problémy v reálnom svete.
Neurónové siete sú inšpirované tým, ako fungujú mozgy v prírodnom svete. Štúdiom toho, ako sa umelé neuróny správajú, keď sa učia hrať videohru, môžeme tiež získať prehľad o tom, ako sa ľudského mozgu práce.
záver
Podobnosti medzi neurónovými sieťami a mozgom viedli k poznatkom v oboch oblastiach. Pokračujúci výskum toho, ako môžu neurónové siete vyriešiť problémy, môže jedného dňa viesť k pokročilejším formám umelá inteligencia.
Predstavte si, že pred zakúpením použijete AI prispôsobenú vašim špecifikáciám, ktorá dokáže zahrať celú videohru, aby ste vedeli, či to stojí za váš čas. Využili by spoločnosti zaoberajúce sa videohrami neurónové siete na zlepšenie herného dizajnu, úrovne vyladenia a obtiažnosti súpera?
Čo si myslíte, že sa stane, keď sa neurónové siete stanú najlepšími hráčmi?
Nechaj odpoveď