비디오 게임은 전 세계 수십억 명의 플레이어에게 계속해서 도전 과제를 제공합니다. 당신은 아직 그것을 모를 수도 있지만, 기계 학습 알고리즘도 도전에 직면하기 시작했습니다.
현재 AI 분야에서 머신 러닝 방법을 비디오 게임에 적용할 수 있는지 알아보기 위해 상당한 양의 연구가 진행되고 있습니다. 이 분야에서 상당한 진전이 있음을 보여줍니다. 기계 학습 에이전트를 사용하여 인간 플레이어를 에뮬레이트하거나 교체할 수도 있습니다.
이것은 미래에 무엇을 의미합니까? 비디오 게임?
이 프로젝트는 단순히 재미를 위한 것입니까, 아니면 많은 연구자들이 게임에 집중하는 더 깊은 이유가 있습니까?
이 기사에서는 비디오 게임에서 AI의 역사를 간략하게 살펴볼 것입니다. 그런 다음 게임을 이기는 방법을 배우는 데 사용할 수 있는 몇 가지 기계 학습 기술에 대한 간략한 개요를 제공합니다. 그런 다음 몇 가지 성공적인 응용 프로그램을 살펴보겠습니다. 신경망 특정 비디오 게임을 배우고 마스터하기 위해.
게임에서 AI의 간략한 역사
신경망이 비디오 게임을 해결하는 데 이상적인 알고리즘이 된 이유를 알아보기 전에 컴퓨터 과학자들이 비디오 게임을 사용하여 AI 연구를 발전시킨 방법을 간단히 살펴보겠습니다.
비디오 게임은 처음부터 AI에 관심이 있는 연구원들에게 뜨거운 연구 영역이었습니다.
엄밀히 말하면 비디오 게임의 기원은 아니지만 체스는 AI 초기에 큰 초점이 되어 왔습니다. 1951년 Dietrich Prinz 박사는 Ferranti Mark 1 디지털 컴퓨터를 사용하여 체스 게임을 작성했습니다. 이것은 이 부피가 큰 컴퓨터가 종이 테이프에서 프로그램을 읽어야 했던 시대로 거슬러 올라갑니다.
프로그램 자체는 완전한 체스 AI가 아니었습니다. 컴퓨터의 한계 때문에 Prinz는 15인 20조 체스 문제를 해결하는 프로그램만 만들 수 있었습니다. 평균적으로 이 프로그램은 백인과 흑인 선수의 가능한 모든 움직임을 계산하는 데 XNUMX-XNUMX분이 걸렸습니다.
체스와 체커 개선 작업 AI는 수십 년 동안 꾸준히 개선되었습니다. 이 발전은 1997년 IBM의 Deep Blue가 XNUMX게임의 경기에서 러시아 체스 그랜드마스터 Garry Kasparov를 꺾으면서 절정에 이르렀습니다. 요즘에는 휴대전화에서 찾을 수 있는 체스 엔진이 Deep Blue를 물리칠 수 있습니다.
AI 상대는 비디오 아케이드 게임의 황금기에 인기를 얻기 시작했습니다. 1978년의 스페이스 인베이더와 1980년대 팩맨은 아케이드 게이머의 가장 베테랑도 충분히 도전할 수 있는 AI를 만드는 업계의 개척자 중 일부입니다.
특히 팩맨은 AI 연구자들이 실험할 인기 있는 게임이었습니다. 여러 대회 Ms. Pac-Man을 위해 어떤 팀이 게임을 이길 최고의 AI를 생각해 낼 수 있는지 결정하기 위해 조직되었습니다.
게임 AI와 휴리스틱 알고리즘은 더 똑똑한 상대가 필요함에 따라 계속 진화했습니다. 예를 들어, 전투 AI는 XNUMX인칭 슈팅 게임과 같은 장르가 주류가 되면서 인기를 얻었습니다.
비디오 게임의 기계 학습
기계 학습 기술이 빠르게 인기를 얻으면서 다양한 연구 프로젝트에서 이러한 새로운 기술을 사용하여 비디오 게임을 하려고 했습니다.
Dota 2, StarCraft 및 Doom과 같은 게임은 이러한 문제를 해결할 수 있습니다. 기계 학습 알고리즘 해결하다. 딥 러닝 알고리즘, 특히 인간 수준의 성능을 달성하고 능가할 수 있었습니다.
XNUMXD덴탈의 아케이드 학습 환경 또는 ALE는 연구원들에게 2600개 이상의 Atari XNUMX 게임에 대한 인터페이스를 제공했습니다. 오픈 소스 플랫폼을 통해 연구자들은 고전적인 Atari 비디오 게임에서 머신 러닝 기술의 성능을 벤치마킹할 수 있었습니다. 구글은 심지어 자체적으로 종이 ALE의 XNUMX개 게임 사용
한편, 다음과 같은 프로젝트 비즈둠 AI 연구자들에게 3D XNUMX인칭 슈팅 게임을 하기 위해 기계 학습 알고리즘을 훈련할 수 있는 기회를 제공했습니다.
작동 원리: 몇 가지 주요 개념
신경망
기계 학습으로 비디오 게임을 해결하는 대부분의 접근 방식에는 신경망으로 알려진 알고리즘 유형이 포함됩니다.
신경망은 뇌가 어떻게 기능하는지 모방하려는 프로그램으로 생각할 수 있습니다. 우리의 뇌가 신호를 전달하는 뉴런으로 구성되어 있는 것처럼 신경망에도 인공 뉴런이 포함되어 있습니다.
이 인공 뉴런은 또한 신호를 서로 전달하며, 각 신호는 실제 숫자입니다. 신경망은 입력 계층과 출력 계층 사이에 심층 신경망이라고 하는 여러 계층을 포함합니다.
강화 학습
비디오 게임 학습과 관련된 또 다른 일반적인 기계 학습 기술은 강화 학습이라는 아이디어입니다.
이 기법은 보상이나 처벌을 사용하여 에이전트를 훈련시키는 과정입니다. 이 접근 방식을 사용하면 에이전트는 시행 착오를 통해 문제에 대한 해결책을 제시할 수 있어야 합니다.
AI가 Snake 게임을 하는 방법을 알아내기를 원한다고 가정해 보겠습니다. 게임의 목표는 간단합니다. 아이템을 소비하고 꼬리가 늘어나는 것을 피하여 최대한 많은 점수를 얻으십시오.
강화 학습을 통해 보상 함수 R을 정의할 수 있습니다. 함수는 Snake가 아이템을 소비할 때 포인트를 추가하고 Snake가 장애물에 부딪힐 때 포인트를 차감합니다. 현재 환경과 가능한 조치 세트가 주어지면 강화 학습 모델은 보상 기능을 최대화하는 최적의 '정책'을 계산하려고 시도합니다.
신경진화
자연에서 영감을 얻은 주제를 유지하면서 연구원들은 신경진화라는 기술을 통해 비디오 게임에 ML을 적용하는 데도 성공했습니다.
사용하는 대신 그라데이션 하강 네트워크의 뉴런을 업데이트하기 위해 진화 알고리즘을 사용하여 더 나은 결과를 얻을 수 있습니다.
진화 알고리즘은 일반적으로 무작위 개인의 초기 모집단을 생성하는 것으로 시작합니다. 그런 다음 특정 기준을 사용하여 이러한 개인을 평가합니다. 최고의 개인이 "부모"로 선택되고 함께 번식하여 새로운 세대의 개인을 형성합니다. 그런 다음 이러한 개인은 인구에서 가장 적합하지 않은 개인을 대체합니다.
이러한 알고리즘은 또한 일반적으로 유전적 다양성을 유지하기 위해 교차 또는 "번식" 단계 동안 돌연변이 작업의 일부 형태를 도입합니다.
비디오 게임의 기계 학습에 대한 샘플 연구
오픈AI 파이브
오픈AI 파이브 는 인기 있는 멀티플레이어 모바일 배틀 아레나(MOBA) 게임인 DOTA 2를 플레이하는 것을 목표로 하는 OpenAI의 컴퓨터 프로그램입니다.
이 프로그램은 초당 수백만 프레임에서 학습하도록 확장된 기존 강화 학습 기술을 활용했습니다. 분산 훈련 시스템 덕분에 OpenAI는 매일 180년 분량의 게임을 할 수 있었습니다.
교육 기간 후 OpenAI Five는 전문가 수준의 성능을 달성하고 인간 플레이어와의 협력을 입증할 수 있었습니다. 2019년 OpenAI XNUMX는 패배 공개 경기에서 플레이어의 99.4%.
OpenAI가 이 게임을 선택한 이유는 무엇입니까? 연구원들에 따르면, DOTA 2는 기존 딥의 손이 닿지 않는 복잡한 메커니즘을 가지고 있었습니다. 강화 학습 알고리즘.
슈퍼 마리오 브라더스
비디오 게임에서 신경망의 또 다른 흥미로운 적용은 Super Mario Bros와 같은 플랫포머를 플레이하기 위해 신경진화를 사용하는 것입니다.
예를 들어, 해커톤 참가 게임에 대한 지식이 없는 상태에서 시작하여 천천히 레벨을 진행하는 데 필요한 기초를 구축합니다.
자체 진화하는 신경망은 게임의 현재 상태를 타일 그리드로 받아들입니다. 처음에 신경망은 각 타일이 의미하는 바를 이해하지 못하고 "공중" 타일이 "그라운드 타일" 및 "적 타일"과 다르다는 것만 이해합니다.
해커톤 프로젝트의 신경 진화 구현은 NEAT 유전자 알고리즘을 사용하여 다른 신경망을 선택적으로 번식시켰습니다.
중요성
이제 비디오 게임을 플레이하는 신경망의 몇 가지 예를 보았으므로 이 모든 것이 무엇인지 궁금할 것입니다.
비디오 게임은 에이전트와 환경 간의 복잡한 상호 작용을 포함하기 때문에 AI를 만들기 위한 완벽한 테스트 장소입니다. 가상 환경은 안전하고 제어 가능하며 무한한 데이터 공급을 제공합니다.
이 분야의 연구를 통해 연구자들은 실제 세계에서 문제를 해결하는 방법을 배우기 위해 신경망을 최적화하는 방법에 대한 통찰력을 얻었습니다.
신경망 자연 세계에서 두뇌가 작동하는 방식에서 영감을 받았습니다. 비디오 게임을 배울 때 인공 뉴런이 어떻게 행동하는지 연구함으로써 우리는 또한 인간의 뇌 작동합니다.
결론
신경망과 뇌의 유사성은 두 분야 모두에서 통찰력을 이끌어 냈습니다. 신경망이 어떻게 문제를 해결할 수 있는지에 대한 지속적인 연구는 언젠가 더 발전된 형태로 이어질 수 있습니다. 인공 지능.
비디오 게임을 구매하기 전에 전체 비디오 게임을 재생할 수 있는 사양에 맞게 조정된 AI를 사용하여 시간을 할애할 가치가 있는지 알려주는 것을 상상해 보십시오. 비디오 게임 회사가 신경망을 사용하여 게임 디자인을 개선하고, 레벨을 조정하고, 상대의 난이도를 조정할까요?
신경망이 궁극의 게이머가 된다면 어떤 일이 일어날 것이라고 생각하십니까?
댓글을 남겨주세요.