Видеоигрите продължават да представляват предизвикателство за милиарди играчи по целия свят. Може би все още не го знаете, но алгоритмите за машинно обучение също започнаха да се справят с предизвикателството.
В момента има значително количество изследвания в областта на AI, за да се види дали методите за машинно обучение могат да бъдат приложени към видеоигрите. Значителният напредък в тази област показва това машинно обучение агентите могат да се използват за емулиране или дори за замяна на човешкия играч.
Какво означава това за бъдещето на видео игри?
Дали тези проекти са просто за забавление или има по-дълбоки причини, поради които толкова много изследователи се фокусират върху игрите?
Тази статия ще разгледа накратко историята на AI във видеоигрите. След това ще ви дадем бърз преглед на някои техники за машинно обучение, които можем да използваме, за да научим как да побеждаваме игри. След това ще разгледаме някои успешни приложения на невронни мрежи да научите и овладеете конкретни видео игри.
Кратка история на AI в игрите
Преди да разберем защо невронните мрежи са се превърнали в идеалния алгоритъм за решаване на видеоигри, нека разгледаме накратко как компютърните учени са използвали видеоигрите, за да напреднат в своите изследвания в областта на ИИ.
Можете да спорите, че от самото начало видеоигрите са били гореща област на изследване за изследователи, интересуващи се от AI.
Въпреки че не е строго видео игра по произход, шахът е бил голям фокус в ранните дни на AI. През 1951 г. д-р Дитрих Принц написва програма за игра на шах, използвайки цифровия компютър Ferranti Mark 1. Това беше още в ерата, когато тези обемисти компютри трябваше да четат програми от хартиена лента.
Самата програма не беше пълен AI за шах. Поради ограниченията на компютъра, Prinz може да създаде само програма, която разрешава шахматни задачи на двама души. Средно програмата отне 15-20 минути, за да изчисли всеки възможен ход за белите и черните играчи.
Работата по подобряването на изкуствения интелект на шаха и пуловете непрекъснато се подобрява през десетилетията. Прогресът достига своя връх през 1997 г., когато Deep Blue на IBM победи руския гросмайстор по шах Гари Каспаров в двойка от шест партии. В наши дни шахматните машини, които можете да намерите на мобилния си телефон, могат да победят Deep Blue.
Противниците на AI започнаха да набират популярност по време на златната ера на видео аркадните игри. Space Invaders от 1978 г. и Pac-Man от 1980 г. са едни от пионерите в индустрията в създаването на AI, който може достатъчно да предизвика дори и най-ветераните аркадни геймъри.
Pac-Man, по-специално, беше популярна игра за изследователите на AI, върху които да експериментират. различни състезания за г-жа Pac-Man са организирани, за да се определи кой отбор може да излезе с най-добрия AI, за да победи играта.
ИИ на играта и евристични алгоритми продължиха да се развиват, тъй като се появи необходимостта от по-умни опоненти. Например бойният AI нарасна в популярност, тъй като жанрове като шутъри от първо лице станаха все по-масови.
Машинно обучение във видеоигрите
Тъй като техниките за машинно обучение бързо нараснаха в популярност, различни изследователски проекти се опитаха да използват тези нови техники за игра на видео игри.
Игри като Dota 2, StarCraft и Doom могат да действат като проблем за тях алгоритми за машинно обучение разрешавам. Алгоритми за дълбоко обучение, по-специално, успяха да постигнат и дори да надминат производителност на човешко ниво.
- Аркадна учебна среда или ALE даде на изследователите интерфейс за над сто игри на Atari 2600. Платформата с отворен код позволи на изследователите да сравнят ефективността на техниките за машинно обучение на класически видеоигри Atari. Google дори публикува своя собствена хартия използвайки седем игри от ALE
Междувременно проекти като VizDoom даде възможност на изследователите на AI да обучат алгоритми за машинно обучение, за да играят 3D шутъри от първо лице.
Как работи: Някои ключови понятия
Невронни мрежи
Повечето подходи за решаване на видеоигри с машинно обучение включват вид алгоритъм, известен като невронна мрежа.
Можете да мислите за невронна мрежа като програма, която се опитва да имитира как може да функционира мозъкът. Подобно на начина, по който нашият мозък е съставен от неврони, които предават сигнал, невронната мрежа също съдържа изкуствени неврони.
Тези изкуствени неврони също предават сигнали един на друг, като всеки сигнал е действително число. Невронната мрежа съдържа множество слоеве между входния и изходния слой, наречени дълбока невронна мрежа.
Укрепване на обучението
Друга често срещана техника за машинно обучение, свързана с изучаването на видео игри, е идеята за обучение с подсилване.
Тази техника е процес на обучение на агент с помощта на награди или наказания. С този подход агентът трябва да може да излезе с решение на проблем чрез проба и грешка.
Да кажем, че искаме AI да разбере как да играе играта Snake. Целта на играта е проста: вземете възможно най-много точки, като консумирате предмети и избягвате растящата си опашка.
С обучението за подсилване можем да дефинираме функция за възнаграждение R. Функцията добавя точки, когато змия консумира предмет и отнема точки, когато змията удари препятствие. Като се има предвид текущата среда и набор от възможни действия, нашият модел на обучение за укрепване ще се опита да изчисли оптималната „политика“, която максимизира нашата функция за възнаграждение.
Невроеволюция
Придържайки се към темата, вдъхновени от природата, изследователите са постигнали успех и в прилагането на машинното обучение към видеоигрите чрез техника, известна като невроеволюция.
Вместо да използва градиентно спускане за да актуализираме невроните в мрежа, можем да използваме еволюционни алгоритми, за да постигнем по-добри резултати.
Еволюционните алгоритми обикновено започват с генериране на първоначална популация от произволни индивиди. След това оценяваме тези лица, като използваме определени критерии. Най-добрите индивиди се избират за „родители“ и се отглеждат заедно, за да формират ново поколение индивиди. След това тези индивиди ще заменят най-неподходящите индивиди в популацията.
Тези алгоритми също така обикновено въвеждат някаква форма на мутационна операция по време на кръстосването или стъпката на „размножаване“, за да се поддържа генетичното разнообразие.
Примерно изследване на машинното обучение във видеоигрите
OpenAI Five
OpenAI Five е компютърна програма от OpenAI, която има за цел да играе DOTA 2, популярна мултиплейър мобилна бойна арена (MOBA) игра.
Програмата използва съществуващи техники за обучение за укрепване, мащабирани да се учат от милиони кадри в секунда. Благодарение на разпределена система за обучение, OpenAI успя да играе игри за 180 години всеки ден.
След периода на обучение OpenAI Five успя да постигне производителност на експертно ниво и да демонстрира сътрудничество с човешки играчи. През 2019 г. OpenAI pet успя поражение 99.4% от играчите в публични мачове.
Защо OpenAI реши тази игра? Според изследователите DOTA 2 има сложна механика, която е извън обсега на съществуващата дълбочина укрепване алгоритми.
Super Mario Bros.
Друго интересно приложение на невронните мрежи във видеоигрите е използването на невроеволюцията за игра на платформи като Super Mario Bros.
Например това участие в хакатон започва с липса на познания за играта и бавно изгражда основата на това, което е необходимо за преминаване през ниво.
Саморазвиващата се невронна мрежа приема текущото състояние на играта като мрежа от плочки. Първоначално невронната мрежа не разбира какво означава всяка плочка, а само че „въздушните“ плочки са различни от „земните плочки“ и „вражеските плочки“.
Изпълнението на невроеволюцията на проекта хакатон използва генетичния алгоритъм NEAT за селективно размножаване на различни невронни мрежи.
Значение
Сега, след като видяхте някои примери за невронни мрежи, които играят видео игри, може би се чудите какъв е смисълът на всичко това.
Тъй като видеоигрите включват сложни взаимодействия между агенти и тяхната среда, това е перфектната тестова площадка за създаване на AI. Виртуалните среди са безопасни и контролируеми и предоставят безкраен запас от данни.
Изследванията, направени в тази област, дадоха на изследователите представа как невронните мрежи могат да бъдат оптимизирани, за да се научат как да решават проблеми в реалния свят.
Невронни мрежи са вдъхновени от това как мозъците работят в естествения свят. Като изучаваме как се държат изкуствените неврони, когато се учат как да играят видео игра, можем също да придобием представа как човешки мозък работи.
Заключение
Приликите между невронните мрежи и мозъка са довели до прозрения и в двете области. Продължаващите изследвания за това как невронните мрежи могат да решават проблеми може някой ден да доведат до по-напреднали форми на изкуствен интелект.
Представете си, че използвате изкуствен интелект, съобразен с вашите спецификации, който може да играе цяла видео игра, преди да я купите, за да ви уведоми дали си заслужава вашето време. Дали компаниите за видеоигри биха използвали невронни мрежи, за да подобрят дизайна на играта, нивото на настройка и трудността на противника?
Какво мислите, че ще се случи, когато невронните мрежи станат най-добрите играчи?
Оставете коментар