Table des matières[Cacher][Montrer]
Les jeux vidéo continuent de représenter un défi pour des milliards de joueurs à travers le monde. Vous ne le savez peut-être pas encore, mais les algorithmes d'apprentissage automatique ont également commencé à relever le défi.
Il existe actuellement une quantité importante de recherches dans le domaine de l'IA pour voir si les méthodes d'apprentissage automatique peuvent être appliquées aux jeux vidéo. Des progrès substantiels dans ce domaine montrent que machine learning les agents peuvent être utilisés pour imiter ou même remplacer le joueur humain.
Qu'est-ce que cela signifie pour l'avenir de jeux vidéo?
Ces projets sont-ils simplement amusants ou y a-t-il des raisons plus profondes pour lesquelles tant de chercheurs se concentrent sur les jeux ?
Cet article explore brièvement l'histoire de l'IA dans les jeux vidéo. Ensuite, nous vous donnerons un aperçu rapide de certaines techniques d'apprentissage automatique que nous pouvons utiliser pour apprendre à battre des jeux. Nous examinerons ensuite quelques applications réussies de réseaux de neurones apprendre et maîtriser des jeux vidéo spécifiques.
Brève histoire de l'IA dans les jeux
Avant d'expliquer pourquoi les réseaux de neurones sont devenus l'algorithme idéal pour résoudre les jeux vidéo, examinons brièvement comment les informaticiens ont utilisé les jeux vidéo pour faire avancer leurs recherches sur l'IA.
Vous pouvez affirmer que, depuis sa création, les jeux vidéo ont été un domaine de recherche brûlant pour les chercheurs intéressés par l'IA.
Bien qu'il ne s'agisse pas strictement d'un jeu vidéo à l'origine, les échecs ont été au centre des préoccupations au début de l'IA. En 1951, le Dr Dietrich Prinz a écrit un programme de jeu d'échecs en utilisant l'ordinateur numérique Ferranti Mark 1. C'était à l'époque où ces ordinateurs encombrants devaient lire des programmes sur bande papier.
Le programme lui-même n'était pas une IA d'échecs complète. En raison des limitations de l'ordinateur, Prinz ne pouvait créer qu'un programme qui résolvait les problèmes d'échecs mat en deux. En moyenne, le programme a pris 15 à 20 minutes pour calculer tous les coups possibles pour les joueurs blancs et noirs.
Les travaux sur l'amélioration de l'IA des échecs et des dames se sont régulièrement améliorés au fil des décennies. Les progrès ont atteint leur apogée en 1997 lorsque Deep Blue d'IBM a battu le grand maître d'échecs russe Garry Kasparov dans une paire de matchs de six matchs. De nos jours, les moteurs d'échecs que vous pouvez trouver sur votre téléphone portable peuvent vaincre Deep Blue.
Les adversaires de l'IA ont commencé à gagner en popularité pendant l'âge d'or des jeux d'arcade vidéo. Space Invaders des années 1978 et Pac-Man des années 1980 sont quelques-uns des pionniers de l'industrie dans la création d'IA qui peuvent suffisamment défier même les joueurs d'arcade les plus vétérans.
Pac-Man, en particulier, était un jeu populaire sur lequel les chercheurs en IA pouvaient expérimenter. Divers COMPETITIONS pour Mme Pac-Man ont été organisés pour déterminer quelle équipe pourrait proposer la meilleure IA pour battre le match.
L'IA du jeu et les algorithmes heuristiques ont continué d'évoluer à mesure que le besoin d'adversaires plus intelligents se faisait sentir. Par exemple, l'IA de combat a gagné en popularité à mesure que des genres tels que les jeux de tir à la première personne sont devenus plus courants.
Apprentissage automatique dans les jeux vidéo
Alors que les techniques d'apprentissage automatique gagnaient rapidement en popularité, divers projets de recherche ont tenté d'utiliser ces nouvelles techniques pour jouer à des jeux vidéo.
Des jeux tels que Dota 2, StarCraft et Doom peuvent constituer des problèmes pour ces algorithmes d'apprentissage automatique résoudre. Algorithmes d'apprentissage profond, en particulier, ont pu atteindre et même dépasser des performances humaines.
Les Environnement d'apprentissage d'arcade ou ALE a fourni aux chercheurs une interface pour plus d'une centaine de jeux Atari 2600. La plate-forme open source a permis aux chercheurs de comparer les performances des techniques d'apprentissage automatique sur les jeux vidéo Atari classiques. Google a même publié le sien papier en utilisant sept jeux de l'ALE
Pendant ce temps, des projets comme VisDoom a donné aux chercheurs en intelligence artificielle la possibilité de former des algorithmes d'apprentissage automatique pour jouer à des jeux de tir à la première personne en 3D.
Comment ça marche : quelques concepts clés
Les réseaux de neurones
La plupart des approches de résolution de jeux vidéo avec l'apprentissage automatique impliquent un type d'algorithme connu sous le nom de réseau de neurones.
Vous pouvez considérer un réseau neuronal comme un programme qui essaie d'imiter le fonctionnement d'un cerveau. Semblable à la façon dont notre cerveau est composé de neurones qui transmettent un signal, un réseau neuronal contient également des neurones artificiels.
Ces neurones artificiels se transfèrent également des signaux les uns aux autres, chaque signal étant un nombre réel. Un réseau neuronal contient plusieurs couches entre les couches d'entrée et de sortie, appelées réseau neuronal profond.
Apprentissage par renforcement
Une autre technique courante d'apprentissage automatique pertinente pour l'apprentissage des jeux vidéo est l'idée de l'apprentissage par renforcement.
Cette technique est le processus de formation d'un agent utilisant des récompenses ou des punitions. Avec cette approche, l'agent doit être en mesure de trouver une solution à un problème par essais et erreurs.
Disons que nous voulons qu'une IA découvre comment jouer au jeu Snake. L'objectif du jeu est simple : obtenir le plus de points possible en consommant des objets et en évitant que votre queue ne pousse.
Avec l'apprentissage par renforcement, nous pouvons définir une fonction de récompense R. La fonction ajoute des points lorsqu'un Snake consomme un objet et déduit des points lorsque le Snake rencontre un obstacle. Compte tenu de l'environnement actuel et d'un ensemble d'actions possibles, notre modèle d'apprentissage par renforcement tentera de calculer la « politique » optimale qui maximise notre fonction de récompense.
Neuroévolution
Toujours dans le thème de l'inspiration de la nature, les chercheurs ont également réussi à appliquer le ML aux jeux vidéo grâce à une technique connue sous le nom de neuroévolution.
À la place d'utiliser Descente graduelle pour mettre à jour les neurones d'un réseau, nous pouvons utiliser des algorithmes évolutionnaires pour obtenir de meilleurs résultats.
Les algorithmes évolutionnaires commencent généralement par générer une population initiale d'individus aléatoires. Nous évaluons ensuite ces personnes selon certains critères. Les meilleurs individus sont choisis comme "parents" et sont croisés pour former une nouvelle génération d'individus. Ces individus remplaceront alors les individus les moins aptes de la population.
Ces algorithmes introduisent également généralement une certaine forme d'opération de mutation pendant l'étape de croisement ou de «reproduction» pour maintenir la diversité génétique.
Exemple de recherche sur l'apprentissage automatique dans les jeux vidéo
OpenAI Cinq
OpenAI Cinq est un programme informatique d'OpenAI qui vise à jouer à DOTA 2, un jeu d'arène de combat mobile multijoueur (MOBA) populaire.
Le programme a tiré parti des techniques d'apprentissage par renforcement existantes, mises à l'échelle pour apprendre à partir de millions d'images par seconde. Grâce à un système de formation distribué, OpenAI a pu jouer à 180 ans de jeux chaque jour.
Après la période de formation, OpenAI Five a pu atteindre des performances de niveau expert et démontrer une coopération avec des joueurs humains. En 2019, OpenAI cinq a pu vaincre 99.4% des joueurs dans les matchs publics.
Pourquoi OpenAI a-t-il choisi ce jeu ? Selon les chercheurs, DOTA 2 avait des mécanismes complexes qui étaient hors de portée des profondes apprentissage par renforcement algorithmes.
Super Mario Bros
Une autre application intéressante des réseaux de neurones dans les jeux vidéo est l'utilisation de la neuroévolution pour jouer à des plateformes telles que Super Mario Bros.
Par exemple, cela entrée au hackathon commence par n'avoir aucune connaissance du jeu et construit lentement une base de ce qui est nécessaire pour progresser dans un niveau.
Le réseau neuronal auto-évolutif prend en compte l'état actuel du jeu sous la forme d'une grille de tuiles. Au début, le réseau neuronal ne comprend pas ce que chaque tuile signifie, seulement que les tuiles "air" sont différentes des "tuiles de sol" et des "tuiles ennemies".
La mise en œuvre d'une neuroévolution par le projet hackathon a utilisé l'algorithme génétique NEAT pour élever sélectivement différents réseaux neuronaux.
Importance
Maintenant que vous avez vu quelques exemples de réseaux de neurones jouant à des jeux vidéo, vous vous demandez peut-être quel est l'intérêt de tout cela.
Étant donné que les jeux vidéo impliquent des interactions complexes entre les agents et leurs environnements, c'est le terrain d'essai idéal pour faire de l'IA. Les environnements virtuels sont sûrs et contrôlables et fournissent une quantité infinie de données.
Les recherches effectuées dans ce domaine ont donné aux chercheurs un aperçu de la façon dont les réseaux de neurones peuvent être optimisés pour apprendre à résoudre des problèmes dans le monde réel.
Les réseaux de neurones s'inspirent du fonctionnement du cerveau dans le monde naturel. En étudiant le comportement des neurones artificiels lorsqu'ils apprennent à jouer à un jeu vidéo, nous pouvons également mieux comprendre comment le cerveau humain œuvres.
Conclusion
Les similitudes entre les réseaux de neurones et le cerveau ont conduit à des connaissances dans les deux domaines. La recherche continue sur la façon dont les réseaux de neurones peuvent résoudre des problèmes pourrait un jour conduire à des formes plus avancées de intelligence artificielle.
Imaginez que vous utilisiez une IA adaptée à vos spécifications et capable de jouer à un jeu vidéo entier avant de l'acheter pour vous faire savoir si cela en vaut la peine. Les sociétés de jeux vidéo utiliseraient-elles des réseaux de neurones pour améliorer la conception des jeux, ajuster le niveau et la difficulté des adversaires ?
Selon vous, que se passera-t-il lorsque les réseaux de neurones deviendront les joueurs ultimes ?
Soyez sympa! Laissez un commentaire