Inhaltsverzeichnis[Ausblenden][Zeigen]
Videospiele bieten weiterhin eine Herausforderung für Milliarden von Spielern auf der ganzen Welt. Sie wissen es vielleicht noch nicht, aber auch maschinelle Lernalgorithmen stellen sich der Herausforderung.
Derzeit wird im Bereich der KI viel geforscht, um zu sehen, ob Methoden des maschinellen Lernens auf Videospiele angewendet werden können. Das zeigen die beachtlichen Fortschritte auf diesem Gebiet Maschinelles Lernen Agenten können verwendet werden, um den menschlichen Spieler zu emulieren oder sogar zu ersetzen.
Was bedeutet das für die Zukunft von Videospiele?
Sind diese Projekte nur Spaß oder gibt es tiefere Gründe, warum sich so viele Forscher auf Spiele konzentrieren?
Dieser Artikel wird kurz die Geschichte der KI in Videospielen untersuchen. Anschließend geben wir Ihnen einen kurzen Überblick über einige Techniken des maschinellen Lernens, mit denen wir lernen können, wie man Spiele schlägt. Wir werden uns dann einige erfolgreiche Anwendungen von ansehen neuronale Netze bestimmte Videospiele zu lernen und zu beherrschen.
Kurze Geschichte der KI im Gaming
Bevor wir darauf eingehen, warum neuronale Netze zum idealen Algorithmus zum Lösen von Videospielen geworden sind, wollen wir uns kurz ansehen, wie Informatiker Videospiele genutzt haben, um ihre KI-Forschung voranzutreiben.
Man kann argumentieren, dass Videospiele von Anfang an ein heißes Forschungsgebiet für Forscher waren, die sich für KI interessieren.
Obwohl es ursprünglich kein Videospiel war, war Schach in den frühen Tagen der KI ein großer Schwerpunkt. 1951 schrieb Dr. Dietrich Prinz ein Schachspielprogramm mit dem digitalen Computer Ferranti Mark 1. Das war weit zurück in der Zeit, als diese klobigen Computer Programme von Papierstreifen lesen mussten.
Das Programm selbst war keine vollständige Schach-KI. Aufgrund der Einschränkungen des Computers konnte Prinz nur ein Programm erstellen, das Matt-in-zwei-Schachprobleme löste. Im Durchschnitt benötigte das Programm 15-20 Minuten, um jeden möglichen Zug für die weißen und schwarzen Spieler zu berechnen.
Die Arbeit an der Verbesserung der Schach- und Dame-KI hat sich im Laufe der Jahrzehnte stetig verbessert. Der Fortschritt erreichte 1997 seinen Höhepunkt, als Deep Blue von IBM den russischen Schachgroßmeister Garry Kasparov in zwei Matches mit sechs Partien besiegte. Heutzutage können Schachprogramme, die Sie auf Ihrem Mobiltelefon finden, Deep Blue besiegen.
KI-Gegner begannen im goldenen Zeitalter der Video-Arcade-Spiele an Popularität zu gewinnen. Space Invaders von 1978 und Pac-Man von 1980 sind einige der Pioniere der Branche bei der Entwicklung von KI, die selbst die erfahrensten Arcade-Spieler herausfordern kann.
Insbesondere Pac-Man war ein beliebtes Spiel für KI-Forscher zum Experimentieren. Verschiedene Wettbewerbe für Ms. Pac-Man wurden organisiert, um festzustellen, welches Team die beste KI haben könnte, um das Spiel zu schlagen.
Spiel-KI und heuristische Algorithmen entwickelten sich weiter, als der Bedarf an intelligenteren Gegnern entstand. Beispielsweise stieg die Popularität der Kampf-KI, als Genres wie Ego-Shooter immer mehr zum Mainstream wurden.
Maschinelles Lernen in Videospielen
Da maschinelle Lerntechniken schnell an Popularität gewannen, versuchten verschiedene Forschungsprojekte, diese neuen Techniken zum Spielen von Videospielen zu nutzen.
Spiele wie Dota 2, StarCraft und Doom können für diese Probleme bereiten Algorithmen für maschinelles Lernen lösen. Deep-Learning-Algorithmen, insbesondere , konnten Leistungen auf menschlichem Niveau erreichen und sogar übertreffen.
Das Arcade-Lernumgebung oder ALE gab Forschern eine Schnittstelle für über hundert Atari 2600-Spiele. Die Open-Source-Plattform ermöglichte es Forschern, die Leistung von Techniken des maschinellen Lernens mit klassischen Atari-Videospielen zu vergleichen. Google hat sogar eigene veröffentlicht Krepppapier mit sieben Spielen aus dem ALE
Inzwischen Projekte wie VizDoom gab KI-Forschern die Möglichkeit, maschinelle Lernalgorithmen zu trainieren, um 3D-Ego-Shooter zu spielen.
Wie funktioniert es: Einige Schlüsselkonzepte
Neuronale Netze
Die meisten Ansätze zum Lösen von Videospielen mit maschinellem Lernen beinhalten eine Art von Algorithmus, der als neuronales Netzwerk bekannt ist.
Sie können sich ein neuronales Netz als ein Programm vorstellen, das versucht, die Funktionsweise eines Gehirns nachzuahmen. Ähnlich wie unser Gehirn aus Neuronen besteht, die ein Signal übertragen, enthält ein neuronales Netz auch künstliche Neuronen.
Diese künstlichen Neuronen übertragen auch Signale untereinander, wobei jedes Signal eine tatsächliche Zahl ist. Ein neuronales Netz enthält mehrere Schichten zwischen der Eingabe- und der Ausgabeschicht, die als tiefes neuronales Netzwerk bezeichnet werden.
Verstärkung lernen
Eine weitere gängige maschinelle Lerntechnik, die für das Lernen von Videospielen relevant ist, ist die Idee des Verstärkungslernens.
Diese Technik ist der Prozess, einen Agenten mit Belohnungen oder Bestrafungen zu trainieren. Bei diesem Ansatz sollte der Agent in der Lage sein, durch Versuch und Irrtum eine Lösung für ein Problem zu finden.
Nehmen wir an, wir wollen, dass eine KI herausfindet, wie man das Spiel Snake spielt. Das Ziel des Spiels ist einfach: Holen Sie sich so viele Punkte wie möglich, indem Sie Gegenstände verbrauchen und Ihrem wachsenden Schwanz ausweichen.
Mit Reinforcement Learning können wir eine Belohnungsfunktion R definieren. Die Funktion fügt Punkte hinzu, wenn eine Schlange einen Gegenstand verbraucht, und zieht Punkte ab, wenn die Schlange auf ein Hindernis trifft. In Anbetracht der aktuellen Umgebung und einer Reihe möglicher Aktionen wird unser Reinforcement-Learning-Modell versuchen, die optimale „Richtlinie“ zu berechnen, die unsere Belohnungsfunktion maximiert.
Neuroevolution
Um das Thema der Inspiration durch die Natur beizubehalten, haben Forscher auch Erfolg bei der Anwendung von ML auf Videospiele durch eine Technik gefunden, die als Neuroevolution bekannt ist.
Anstatt zu verwenden Gradientenabstieg Um Neuronen in einem Netzwerk zu aktualisieren, können wir evolutionäre Algorithmen verwenden, um bessere Ergebnisse zu erzielen.
Evolutionäre Algorithmen beginnen typischerweise mit der Generierung einer Anfangspopulation von zufälligen Individuen. Wir bewerten diese Personen dann anhand bestimmter Kriterien. Die besten Individuen werden als „Eltern“ ausgewählt und zu einer neuen Generation von Individuen zusammengezüchtet. Diese Personen werden dann die am wenigsten fitten Personen in der Bevölkerung ersetzen.
Diese Algorithmen führen typischerweise während des Crossover- oder „Zucht“-Schritts auch irgendeine Form von Mutationsoperation ein, um die genetische Vielfalt aufrechtzuerhalten.
Beispielforschung zum maschinellen Lernen in Videospielen
OpenAI Fünf
OpenAI Fünf ist ein Computerprogramm von OpenAI, das darauf abzielt, DOTA 2 zu spielen, ein beliebtes Multiplayer-Mobile-Battle-Arena-Spiel (MOBA).
Das Programm nutzte vorhandene Reinforcement-Learning-Techniken, die skaliert wurden, um aus Millionen von Frames pro Sekunde zu lernen. Dank eines verteilten Trainingssystems konnte OpenAI jeden Tag Spiele im Wert von 180 Jahren spielen.
Nach der Trainingsphase war OpenAI Five in der Lage, eine Leistung auf Expertenniveau zu erreichen und die Zusammenarbeit mit menschlichen Spielern zu demonstrieren. Im Jahr 2019 war OpenAI five dazu in der Lage besiegen 99.4 % der Spieler in öffentlichen Spielen.
Warum hat sich OpenAI für dieses Spiel entschieden? Laut den Forschern hatte DOTA 2 komplexe Mechaniken, die außerhalb der Reichweite vorhandener Tiefen lagen Verstärkung lernen Algorithmen.
Super Mario Bros.
Eine weitere interessante Anwendung von neuronalen Netzen in Videospielen ist die Verwendung von Neuroevolution zum Spielen von Plattformspielen wie Super Mario Bros.
Zum Beispiel das Hackathon-Eintrag beginnt damit, keine Kenntnisse über das Spiel zu haben, und baut langsam eine Grundlage dafür auf, was erforderlich ist, um durch ein Level zu kommen.
Das sich selbst entwickelnde neuronale Netz nimmt den aktuellen Zustand des Spiels als Kachelraster auf. Zunächst versteht das neuronale Netz nicht, was jede Kachel bedeutet, nur dass sich die „Luft“-Kacheln von „Bodenkacheln“ und „feindlichen Kacheln“ unterscheiden.
Die Implementierung einer Neuroevolution durch das Hackathon-Projekt verwendete den genetischen NEAT-Algorithmus, um verschiedene neuronale Netze selektiv zu züchten.
Bedeutung
Nachdem Sie nun einige Beispiele von neuronalen Netzen beim Spielen von Videospielen gesehen haben, fragen Sie sich vielleicht, was der Sinn all dessen ist.
Da Videospiele komplexe Interaktionen zwischen Agenten und ihrer Umgebung beinhalten, ist dies das perfekte Testgelände für die Entwicklung von KI. Virtuelle Umgebungen sind sicher und kontrollierbar und liefern unendlich viele Daten.
Die Forschung auf diesem Gebiet hat Forschern einen Einblick gegeben, wie neuronale Netze optimiert werden können, um zu lernen, wie man Probleme in der realen Welt löst.
Neuronale Netze sind davon inspiriert, wie Gehirne in der natürlichen Welt funktionieren. Indem wir untersuchen, wie sich künstliche Neuronen verhalten, wenn sie lernen, wie man ein Videospiel spielt, können wir auch einen Einblick gewinnen, wie die menschliches Gehirn Werke.
Zusammenfassung
Ähnlichkeiten zwischen neuronalen Netzen und dem Gehirn haben zu Erkenntnissen in beiden Bereichen geführt. Die anhaltende Forschung darüber, wie neuronale Netze Probleme lösen können, könnte eines Tages zu fortgeschritteneren Formen von führen künstliche Intelligenz.
Stellen Sie sich vor, Sie verwenden eine auf Ihre Spezifikationen zugeschnittene KI, die ein ganzes Videospiel spielen kann, bevor Sie es kaufen, um Sie wissen zu lassen, ob es Ihre Zeit wert ist. Würden Videospielfirmen neuronale Netze verwenden, um das Spieldesign zu verbessern, das Level zu optimieren und die Schwierigkeit der Gegner zu verbessern?
Was wird Ihrer Meinung nach passieren, wenn neuronale Netze zu ultimativen Spielern werden?
Hinterlassen Sie uns einen Kommentar