Відеоігри продовжують кидати виклик мільярдам гравців у всьому світі. Можливо, ви ще цього не знаєте, але алгоритми машинного навчання також почали справлятися з цим викликом.
На даний момент у галузі штучного інтелекту проводиться значна кількість досліджень, щоб з’ясувати, чи можна застосувати методи машинного навчання до відеоігор. Про це свідчить значний прогрес у цій галузі навчання за допомогою машини агентів можна використовувати для імітації або навіть заміни гравця-людини.
Що це означає для майбутнього відеоігри?
Ці проекти просто для розваги чи є глибші причини, чому так багато дослідників зосереджуються на іграх?
Ця стаття коротко дослідить історію ШІ у відеоіграх. Після цього ми дамо вам короткий огляд деяких методів машинного навчання, які ми можемо використовувати, щоб навчитися програвати ігри. Потім ми розглянемо кілька успішних застосувань нейронні мережі вивчити та освоїти конкретні відеоігри.
Коротка історія ШІ в іграх
Перш ніж ми розберемося, чому нейронні мережі стали ідеальним алгоритмом для розгадування відеоігор, давайте коротко розглянемо, як комп’ютерні спеціалісти використовували відеоігри для просування своїх досліджень ШІ.
Ви можете стверджувати, що з самого початку відеоігри були гарячою сферою досліджень для дослідників, які цікавляться ШІ.
Хоча за походженням шахи не є суто відеоіграми, вони були в центрі уваги на початку ШІ. У 1951 році доктор Дітріх Принц написав програму для гри в шахи за допомогою цифрового комп’ютера Ferranti Mark 1. Це було ще в епоху, коли цим громіздким комп’ютерам доводилося читати програми з паперової стрічки.
Сама програма не була повним шаховим штучним інтелектом. Через обмеження комп’ютера Принц міг створити лише програму, яка розв’язувала шахові задачі напарника. У середньому програма займала 15-20 хвилин, щоб прорахувати кожен можливий хід білих і чорних.
Робота над удосконаленням штучного інтелекту в шахах і шашках постійно вдосконалювалася протягом десятиліть. Прогрес досяг апогею в 1997 році, коли Deep Blue з IBM переміг російського шахового гросмейстера Гаррі Каспарова в парі з шести партій. Зараз шахові механізми, які можна знайти на своєму мобільному телефоні, можуть перемогти Deep Blue.
Противники штучного інтелекту почали набирати популярності в золоту еру аркадних відеоігор. Space Invaders 1978 року та Pac-Man 1980-х — одні з піонерів індустрії у створенні штучного інтелекту, який може кинути виклик навіть найстарішому аркадному геймеру.
Pac-Man, зокрема, була популярною грою для експериментів дослідників ШІ. різноманітні конкурси для міс.
Ігровий штучний інтелект і евристичні алгоритми продовжували розвиватися, оскільки виникала потреба в розумніших супротивниках. Наприклад, бойовий штучний інтелект став популярним, оскільки такі жанри, як шутери від першої особи, стали більш популярними.
Машинне навчання у відеоіграх
Оскільки методи машинного навчання швидко набирали популярності, різні дослідницькі проекти намагалися використовувати ці нові методи для гри у відеоігри.
Такі ігри, як Dota 2, StarCraft і Doom, можуть стати проблемою для них алгоритми машинного навчання вирішити. Алгоритми глибокого навчання, зокрема, змогли досягти і навіть перевершити продуктивність людського рівня.
Команда Навчальне середовище Arcade або ALE дав дослідникам інтерфейс для понад сотні ігор Atari 2600. Платформа з відкритим вихідним кодом дозволила дослідникам порівняти продуктивність методів машинного навчання в класичних відеоіграх Atari. Google навіть опублікував свої папір використовуючи сім ігор з ALE
Тим часом проекти, як VizDoom дали дослідникам штучного інтелекту можливість навчити алгоритми машинного навчання для гри в 3D-шутери від першої особи.
Як це працює: деякі ключові поняття
Нейронні мережі
Більшість підходів до вирішення відеоігор за допомогою машинного навчання включають тип алгоритму, відомого як нейронна мережа.
Ви можете думати про нейронну мережу як про програму, яка намагається імітувати, як може функціонувати мозок. Подібно до того, як наш мозок складається з нейронів, які передають сигнал, нейронна мережа також містить штучні нейрони.
Ці штучні нейрони також передають сигнали один одному, причому кожен сигнал є фактичним числом. Нейронна мережа містить кілька рівнів між вхідним і вихідним рівнями, що називається глибокою нейронною мережею.
Підсилення навчання
Ще одна поширена техніка машинного навчання, яка стосується вивчення відеоігор, — це ідея навчання з підкріпленням.
Ця техніка є процесом навчання агента за допомогою винагород або покарань. При такому підході агент повинен мати можливість знайти рішення проблеми методом проб і помилок.
Скажімо, ми хочемо, щоб ШІ дізнався, як грати в гру Snake. Мета гри проста: отримати якомога більше очок, споживаючи предмети та уникаючи свого зростаючого хвоста.
За допомогою навчання з підкріпленням ми можемо визначити функцію винагороди R. Ця функція додає бали, коли змія споживає предмет, і віднімає бали, коли змія натикається на перешкоду. Враховуючи поточне середовище та набір можливих дій, наша модель навчання з підкріпленням намагатиметься обчислити оптимальну «політику», яка максимізує нашу функцію винагороди.
Нейроеволюція
Дотримуючись теми натхнення від природи, дослідники також досягли успіху в застосуванні машинного навчання до відеоігор за допомогою техніки, відомої як нейроеволюція.
Замість використання градієнтний спуск щоб оновити нейрони в мережі, ми можемо використовувати еволюційні алгоритми для досягнення кращих результатів.
Еволюційні алгоритми зазвичай починаються з генерації початкової популяції випадкових особин. Потім ми оцінюємо цих осіб за певними критеріями. Найкращі особини вибираються як «батьки» і розводяться разом для формування нового покоління особин. Потім ці особини замінять найменш придатних особин у популяції.
Ці алгоритми також зазвичай вводять певну форму операції мутації під час кросинговеру або етапу «розведення» для підтримки генетичної різноманітності.
Зразок дослідження машинного навчання у відеоіграх
OpenAI п'ять
OpenAI п'ять це комп’ютерна програма від OpenAI, призначена для гри в DOTA 2, популярну багатокористувацьку гру на мобільній бойовій арені (MOBA).
Програма використовувала існуючі методи навчання з підкріпленням, масштабовані для навчання з мільйонів кадрів на секунду. Завдяки розподіленій системі навчання OpenAI міг щодня грати в ігри протягом 180 років.
Після періоду навчання OpenAI Five зміг досягти продуктивності експертного рівня та продемонструвати співпрацю з людьми-гравцями. У 2019 році це вдалося OpenAI Five поразка 99.4% гравців у публічних матчах.
Чому OpenAI вирішила вибрати цю гру? За словами дослідників, DOTA 2 мала складну механіку, яка була поза межами існуючої глибини навчання алгоритми.
Супер Маріо
Ще одним цікавим застосуванням нейронних мереж у відеоіграх є використання нейроеволюції для гри в платформери, такі як Super Mario Bros.
Наприклад, це запис на хакатон починає, не маючи знання про гру, і повільно будує основу того, що потрібно для проходження рівня.
Нейронна мережа, що саморозвивається, розглядає поточний стан гри як сітку плиток. Спочатку нейронна мережа не розуміє, що означає кожна плитка, лише те, що «повітряні» плитки відрізняються від «наземних плиток» і «плиток ворогів».
Реалізація нейроеволюції проекту хакатону використовувала генетичний алгоритм NEAT для вибіркового розведення різних нейронних мереж.
Значення
Тепер, коли ви побачили кілька прикладів нейронних мереж, які грають у відеоігри, ви можете задатися питанням, у чому сенс усього цього.
Оскільки відеоігри включають складну взаємодію між агентами та їхнім середовищем, це ідеальний полігон для створення ШІ. Віртуальні середовища є безпечними та контрольованими та забезпечують необмежений запас даних.
Дослідження, проведені в цій галузі, дали дослідникам зрозуміти, як можна оптимізувати нейронні мережі, щоб навчитися вирішувати проблеми в реальному світі.
Нейронні мережі натхненні тим, як працює мозок у природному світі. Вивчаючи, як штучні нейрони поводяться під час навчання, як грати у відеогру, ми також можемо отримати уявлення про те, як людський мозок працює.
Висновок
Подібність між нейронними мережами та мозком призвела до розуміння в обох сферах. Триваючі дослідження того, як нейронні мережі можуть вирішувати проблеми, колись можуть призвести до більш просунутих форм штучний інтелект.
Уявіть собі, що ви використовуєте штучний інтелект, адаптований до ваших вимог, який може відтворити всю відеогру, перш ніж ви її придбаєте, щоб ви знали, чи варта вона вашого часу. Чи використовували б компанії відеоігор нейронні мережі для покращення дизайну гри, рівня налаштування та складності суперника?
Як ви думаєте, що станеться, коли нейронні мережі стануть справжніми гравцями?
залишити коментар