Videohry i nadále představují výzvu pro miliardy hráčů po celém světě. Možná to ještě nevíte, ale algoritmy strojového učení se také začaly potýkat s touto výzvou.
V současné době probíhá v oblasti umělé inteligence značné množství výzkumů, aby se zjistilo, zda lze metody strojového učení aplikovat na videohry. To ukazuje značný pokrok v této oblasti strojové učení agenti mohou být použity k emulaci nebo dokonce nahrazení lidského hráče.
Co to znamená pro budoucnost videohry?
Jsou tyto projekty pouze pro zábavu, nebo existují hlubší důvody, proč se tolik výzkumníků zaměřuje na hry?
Tento článek stručně prozkoumá historii AI ve videohrách. Poté vám poskytneme rychlý přehled některých technik strojového učení, které můžeme použít, abychom se naučili porazit hry. Poté se podíváme na některé úspěšné aplikace neuronové sítě naučit se a ovládat konkrétní videohry.
Stručná historie AI ve hrách
Než se dostaneme k tomu, proč se neuronové sítě staly ideálním algoritmem pro řešení videoher, podívejme se stručně na to, jak počítačoví vědci použili videohry k pokroku ve svém výzkumu AI.
Můžete namítnout, že od svého počátku byly videohry horkou oblastí výzkumu pro výzkumníky se zájmem o AI.
Ačkoli původně nešlo o videohru, šachy byly v počátcích umělé inteligence velkým středem zájmu. V roce 1951 napsal Dr. Dietrich Prinz program na hraní šachů pomocí digitálního počítače Ferranti Mark 1. To bylo dávno v době, kdy tyto objemné počítače musely číst programy z papírové pásky.
Samotný program nebyl úplný šachový AI. Kvůli omezením počítače mohl Prinz vytvořit pouze program, který vyřešil šachové problémy pár ve dvou. V průměru program zabral 15-20 minut pro výpočet všech možných tahů pro bílé a černé hráče.
Práce na vylepšování umělé inteligence v šachu a dámě se v průběhu desetiletí neustále zlepšovala. Pokrok dosáhl svého vrcholu v roce 1997, kdy tým IBM Deep Blue porazil ruského šachového velmistra Garryho Kasparova v páru šesti partií. V dnešní době mohou šachové motory, které najdete ve svém mobilním telefonu, porazit Deep Blue.
Odpůrci umělé inteligence začali získávat na popularitě během zlatého věku video arkádových her. Space Invaders z roku 1978 a Pac-Man z 1980. let jsou některými z průkopníků tohoto odvětví ve vytváření umělé inteligence, která dokáže dostatečně vyzvat i ty nejzkušenější arkádové hráče.
Obzvláště Pac-Man byl oblíbenou hrou pro experimentování výzkumníků AI. Rozličný soutěže pro paní Pac-Man byly organizovány tak, aby určily, který tým by mohl přijít s nejlepší AI, aby porazil hru.
Herní umělá inteligence a heuristické algoritmy se nadále vyvíjely, protože vyvstala potřeba chytřejších protivníků. Například bojová umělá inteligence vzrostla na popularitě, protože žánry, jako jsou střílečky z pohledu první osoby, se staly běžnějšími.
Strojové učení ve videohrách
Jak techniky strojového učení rychle vzrostly na popularitě, různé výzkumné projekty se pokusily použít tyto nové techniky k hraní videoher.
Hry jako Dota 2, StarCraft a Doom pro ně mohou působit jako problémy algoritmy strojového učení vyřešit. Algoritmy hlubokého učení, zejména byli schopni dosáhnout a dokonce překonat výkon na lidské úrovni.
Projekt Arkádové výukové prostředí nebo ALE poskytlo výzkumníkům rozhraní pro více než sto her Atari 2600. Platforma s otevřeným zdrojovým kódem umožnila výzkumníkům porovnat výkon technik strojového učení na klasických videohrách Atari. Google dokonce zveřejnil jejich vlastní papír pomocí sedmi her z ALE
Mezitím projekty jako VizDoom dal výzkumníkům AI příležitost trénovat algoritmy strojového učení pro hraní 3D stříleček z pohledu první osoby.
Jak to funguje: některé klíčové koncepty
Neuronové sítě
Většina přístupů k řešení videoher pomocí strojového učení zahrnuje typ algoritmu známý jako neuronová síť.
Neuronovou síť si můžete představit jako program, který se snaží napodobit, jak může fungovat mozek. Podobně jako je náš mozek složen z neuronů, které přenášejí signál, neuronová síť také obsahuje umělé neurony.
Tyto umělé neurony také přenášejí signály mezi sebou, přičemž každý signál je skutečné číslo. Neuronová síť obsahuje více vrstev mezi vstupní a výstupní vrstvou, které se říká hluboká neuronová síť.
Posílení učení
Další běžnou technikou strojového učení relevantní pro výuku videoher je myšlenka posílení učení.
Tato technika je proces výcviku agenta pomocí odměn nebo trestů. S tímto přístupem by měl být agent schopen přijít s řešením problému metodou pokus-omyl.
Řekněme, že chceme AI, aby zjistila, jak hrát hru Snake. Cíl hry je jednoduchý: získat co nejvíce bodů konzumací předmětů a vyhýbáním se rostoucímu ocasu.
S posilovacím učením můžeme definovat funkci odměn R. Tato funkce přidává body, když had spotřebuje předmět, a odečítá body, když had narazí na překážku. Vzhledem k současnému prostředí a sadě možných akcí se náš model učení posilování pokusí vypočítat optimální „politiku“, která maximalizuje naši funkci odměňování.
Neuroevoluce
Vědci, kteří se drželi tématu inspirací přírodou, také našli úspěch v aplikaci ML na videohry prostřednictvím techniky známé jako neuroevoluce.
Místo použití gradientní sestup k aktualizaci neuronů v síti můžeme použít evoluční algoritmy k dosažení lepších výsledků.
Evoluční algoritmy obvykle začínají generováním počáteční populace náhodných jedinců. Tyto jedince pak hodnotíme pomocí určitých kritérií. Nejlepší jedinci jsou vybráni jako „rodiče“ a jsou chováni společně, aby vytvořili novou generaci jedinců. Tito jedinci pak nahradí v populaci nejméně zdatné jedince.
Tyto algoritmy také typicky zavádějí určitou formu mutační operace během kroku křížení nebo „šlechtění“, aby byla zachována genetická rozmanitost.
Ukázka výzkumu strojového učení ve videohrách
OpenAI pět
OpenAI pět je počítačový program od OpenAI, jehož cílem je hrát DOTA 2, oblíbenou hru pro více hráčů v mobilní bitevní aréně (MOBA).
Program využíval stávající techniky učení výztuže přizpůsobené tak, aby se učilo z milionů snímků za sekundu. Díky distribuovanému tréninkovému systému byla OpenAI schopna hrát hry za 180 let každý den.
Po tréninkovém období byla OpenAI Five schopna dosáhnout výkonu na expertní úrovni a prokázat spolupráci s lidskými hráči. V roce 2019 to OpenAI pět dokázalo porazit 99.4 % hráčů ve veřejných zápasech.
Proč se OpenAI rozhodlo pro tuto hru? Podle výzkumníků měla DOTA 2 složitou mechaniku, která byla mimo dosah existujících hlubin posilování učení algoritmy.
Super Mario Bros
Další zajímavou aplikací neuronových sítí ve videohrách je použití neuroevoluce pro hraní plošinovek, jako je Super Mario Bros.
Například tohle vstup na hackathon začíná tím, že nemáte o hře žádné znalosti, a pomalu si staví základy toho, co je potřeba k postupu přes úroveň.
Samovyvíjející se neuronová síť přebírá aktuální stav hry jako mřížka dlaždic. Zpočátku neuronová síť nerozumí tomu, co jednotlivé dlaždice znamenají, pouze to, že dlaždice „vzduch“ se liší od „zemních dlaždic“ a „nepřátelských dlaždic“.
Implementace neuroevoluce v projektu hackathon použila genetický algoritmus NEAT k selektivnímu chovu různých neuronových sítí.
Význam
Nyní, když jste viděli několik příkladů neuronových sítí hrajících videohry, možná vás zajímá, jaký je smysl toho všeho.
Vzhledem k tomu, že videohry zahrnují složité interakce mezi agenty a jejich prostředím, je to perfektní testovací základna pro vytváření umělé inteligence. Virtuální prostředí jsou bezpečná a ovladatelná a poskytují nekonečný přísun dat.
Výzkum v této oblasti umožnil výzkumníkům nahlédnout do toho, jak lze optimalizovat neuronové sítě, aby se naučili řešit problémy v reálném světě.
Neuronové sítě jsou inspirovány tím, jak mozek funguje v přírodním světě. Studiem toho, jak se chovají umělé neurony, když se učíte hrát videohry, můžeme také získat přehled o tom, jak se lidský mozek funguje.
Proč investovat do čističky vzduchu?
Podobnosti mezi neuronovými sítěmi a mozkem vedly k pochopení obou oblastí. Pokračující výzkum toho, jak mohou neuronové sítě řešit problémy, může jednoho dne vést k pokročilejším formám umělá inteligence.
Představte si, že před zakoupením použijete AI přizpůsobenou vašim specifikacím, která dokáže zahrát celou videohru, abyste věděli, zda stojí za váš čas. Využily by videoherní společnosti neuronové sítě ke zlepšení herního designu, úrovně vyladění a obtížnosti soupeře?
Co si myslíte, že se stane, až se neuronové sítě stanou nejlepšími hráči?
Napsat komentář