Відэагульні працягваюць ствараць выклік мільярдам гульцоў па ўсім свеце. Магчыма, вы гэтага яшчэ не ведаеце, але алгарытмы машыннага навучання таксама пачалі спраўляцца з гэтай задачай.
У цяперашні час праводзіцца значная колькасць даследаванняў у галіне штучнага інтэлекту, каб даведацца, ці можна метады машыннага навучання прымяніць да відэагульняў. Істотны прагрэс у гэтай сферы сведчыць пра гэта навучанне з дапамогай машыны агенты могуць быць выкарыстаны для эмуляцыі або нават замены чалавека-гульца.
Што гэта значыць для будучыні відэагульні?
Ці з'яўляюцца гэтыя праекты проста для забавы, ці ёсць больш глыбокія прычыны, чаму так шмат даследчыкаў засяроджваюцца на гульнях?
У гэтым артыкуле коратка будзе разгледжана гісторыя штучнага інтэлекту ў відэагульнях. Пасля гэтага мы дамо вам кароткі агляд некаторых метадаў машыннага навучання, якія мы можам выкарыстоўваць, каб навучыцца абыгрываць гульні. Затым мы разгледзім некаторыя паспяховыя прымянення нейронныя сеткі вывучаць і асвоіць пэўныя відэагульні.
Кароткая гісторыя штучнага інтэлекту ў гульнях
Перш чым разабрацца, чаму нейронныя сеткі сталі ідэальным алгарытмам для разгадвання відэагульняў, давайце коратка паглядзім, як інфарматыкі выкарыстоўвалі відэагульні для прасоўвання сваіх даследаванняў у галіне штучнага інтэлекту.
Вы можаце запярэчыць, што з самага пачатку відэагульні былі гарачай сферай даследаванняў для даследчыкаў, якія цікавяцца штучным інтэлектам.
Нягледзячы на тое, што шахматы не з'яўляюцца выключна відэагульнямі, яны былі ў цэнтры ўвагі ў першыя дні штучнага інтэлекту. У 1951 годзе доктар Дзітрых Прынц напісаў праграму для гульні ў шахматы з дапамогай лічбавага кампутара Ferranti Mark 1. Гэта было яшчэ ў эпоху, калі гэтыя грувасткія кампутары павінны былі чытаць праграмы з папяровай стужкі.
Сама праграма не была поўным шахматным штучным інтэлектам. З-за абмежаванняў камп'ютара Прынц мог стварыць толькі праграму, якая вырашала шахматныя задачы напарніка. У сярэднім праграма займала 15-20 хвілін, каб пралічыць усе магчымыя ходы белых і чорных.
Праца па ўдасканаленні штучнага інтэлекту ў шахматах і шашках няўхільна паляпшалася на працягу дзесяцігоддзяў. Прагрэс дасягнуў кульмінацыі ў 1997 годзе, калі Deep Blue ад IBM перамог расійскага шахматнага гросмайстра Гары Каспарава ў пары з шасці партый. У наш час шахматныя механізмы, якія можна знайсці на вашым мабільным тэлефоне, могуць перамагчы Deep Blue.
Праціўнікі штучнага інтэлекту пачалі набіраць папулярнасць у залаты век відэааркадных гульняў. Space Invaders 1978 года і Pac-Man 1980-х з'яўляюцца аднымі з піянераў індустрыі ў стварэнні штучнага інтэлекту, які можа кінуць выклік нават самым ветэранам аркадных гульняў.
У прыватнасці, Pac-Man была папулярнай гульнёй для эксперыментаў даследчыкаў штучнага інтэлекту. Розныя конкурсы для Ms. Pac-Man былі арганізаваны, каб вызначыць, якая каманда можа прыдумаць лепшы штучны інтэлект для перамогі ў гульні.
Гульнявы штучны інтэлект і эўрыстычныя алгарытмы працягвалі развівацца па меры ўзнікнення патрэбы ў больш разумных суперніках. Напрыклад, папулярнасць баявога штучнага інтэлекту вырасла, калі такія жанры, як шутэры ад першай асобы, сталі больш масавымі.
Машыннае навучанне ў відэагульнях
Па меры хуткага росту папулярнасці метадаў машыннага навучання розныя даследчыя праекты спрабавалі выкарыстоўваць гэтыя новыя метады для відэагульняў.
Такія гульні, як Dota 2, StarCraft і Doom, могуць стаць праблемай для іх алгарытмы машыннага навучання вырашаць. Алгарытмы глыбокага навучання, у прыватнасці, змаглі дасягнуць і нават перасягнуць прадукцыйнасць чалавечага ўзроўню.
,en Аркаднае навучальнае асяроддзе або ALE далі даследчыкам інтэрфейс для больш чым ста гульняў Atari 2600. Платформа з адкрытым зыходным кодам дазволіла даследчыкам параўнаць прадукцыйнасць метадаў машыннага навучання ў класічных відэагульнях Atari. Google нават апублікаваў свае папера выкарыстоўваючы сем гульняў ад ALE
Між тым праекты накшталт VizDoom даў даследчыкам штучнага інтэлекту магчымасць навучыць алгарытмы машыннага навучання для гульні ў 3D-шутэры ад першай асобы.
Як гэта працуе: некаторыя ключавыя паняцці
Нейронавыя сеткі
Большасць падыходаў да рашэння відэагульняў з дапамогай машыннага навучання ўключаюць тып алгарытму, вядомы як нейронавая сетка.
Вы можаце разглядаць нейронавую сетку як праграму, якая спрабуе імітаваць тое, як можа функцыянаваць мозг. Падобна таму, як наш мозг складаецца з нейронаў, якія перадаюць сігнал, нейронная сетка таксама змяшчае штучныя нейроны.
Гэтыя штучныя нейроны таксама перадаюць сігналы адзін аднаму, прычым кожны сігнал з'яўляецца фактычнай лічбай. Нейронная сетка змяшчае некалькі слаёў паміж уваходным і выходным пластамі, якія называюцца глыбокай нейронавай сеткай.
Падмацаванне навучання
Іншы распаўсюджаны метад машыннага навучання, які мае дачыненне да вывучэння відэагульняў, - гэта ідэя навучання з падмацаваннем.
Гэтая тэхніка ўяўляе сабой працэс навучання агента з выкарыстаннем узнагарод або пакаранняў. Пры такім падыходзе агент павінен мець магчымасць прыдумаць рашэнне праблемы метадам спроб і памылак.
Дапусцім, мы хочам, каб штучны інтэлект даведаўся, як гуляць у гульню Snake. Мэта гульні простая: атрымаць як мага больш ачкоў, спажываючы прадметы і пазбягаючы растучага хваста.
З дапамогай навучання з падмацаваннем мы можам вызначыць функцыю ўзнагароджання R. Функцыя дадае балы, калі змяя спажывае прадмет, і адымае балы, калі змяя сутыкаецца з перашкодай. Улічваючы бягучае асяроддзе і набор магчымых дзеянняў, наша мадэль навучання з падмацаваннем паспрабуе вылічыць аптымальную «палітыку», якая максімальна павялічвае нашу функцыю ўзнагароджання.
Нейраэвалюцыя
Натхняючыся прыродай, даследчыкі таксама дасягнулі поспеху ў прымяненні ML да відэагульняў з дапамогай метаду, вядомага як нейраэвалюцыя.
Замест выкарыстання градыентны спуск каб абнавіць нейроны ў сетцы, мы можам выкарыстоўваць эвалюцыйныя алгарытмы для дасягнення лепшых вынікаў.
Эвалюцыйныя алгарытмы звычайна пачынаюцца з стварэння пачатковай папуляцыі выпадковых асобін. Затым мы ацэньваем гэтых людзей па пэўных крытэрыях. Лепшыя асобіны выбіраюцца ў якасці «бацькоў» і разводзяцца разам для фарміравання новага пакалення асобін. Затым гэтыя асобіны заменяць найменш прыдатных асобін у папуляцыі.
Гэтыя алгарытмы таксама звычайна ўводзяць некаторую форму аперацыі мутацыі падчас скрыжавання або этапу «размнажэння» для падтрымання генетычнай разнастайнасці.
Прыклады даследаванняў машыннага навучання ў відэагульнях
OpenAI Five
OpenAI Five гэта камп'ютарная праграма ад OpenAI, мэта якой - гуляць у DOTA 2, папулярную шматкарыстальніцкую мабільную баявую арэну (MOBA).
Праграма выкарыстала існуючыя метады навучання з падмацаваннем, маштабаваныя для навучання з мільёнамі кадраў у секунду. Дзякуючы размеркаванай сістэме навучання, OpenAI мог кожны дзень гуляць у гульні на працягу 180 гадоў.
Пасля перыяду навучання OpenAI Five змагла дасягнуць прадукцыйнасці экспертнага ўзроўню і прадэманстраваць супрацоўніцтва з людзьмі-гульцамі. У 2019 годзе OpenAI Five змог паразу 99.4% гульцоў у публічных матчах.
Чаму OpenAI вырашыў менавіта гэтую гульню? Па словах даследчыкаў, у DOTA 2 была складаная механіка, якая была па-за межамі існуючай глыбіні навучанне з падмацаваньнем алгарытмы.
Супер Марыё
Яшчэ адно цікавае прымяненне нейронавых сетак у відэагульнях - выкарыстанне нейраэвалюцыі для гульні ў платформеры, такія як Super Mario Bros.
Напрыклад, гэта запіс на хакатон пачынаецца з няведання гульні і павольна будуе аснову таго, што неабходна для праходжання ўзроўню.
Нейронная сетка, якая самаразвіваецца, разглядае бягучы стан гульні ў выглядзе сеткі плітак. Спачатку нейронная сетка не разумее, што азначае кожная плітка, толькі тое, што «паветраныя» пліткі адрозніваюцца ад «наземных плітак» і «варожых плітак».
Рэалізацыя нейраэвалюцыі праекта хакатона выкарыстоўвала генетычны алгарытм NEAT для выбарачнага размнажэння розных нейронавых сетак.
Значэнне
Цяпер, калі вы бачылі некаторыя прыклады нейронавых сетак, якія гуляюць у відэагульні, вы можаце задацца пытаннем, у чым сэнс усяго гэтага.
Паколькі відэагульні ўключаюць складанае ўзаемадзеянне паміж агентамі і іх асяроддзем, гэта ідэальны палігон для выпрабаванняў штучнага інтэлекту. Віртуальныя асяроддзя з'яўляюцца бяспечнымі і кантраляванымі і забяспечваюць бясконцы запас даных.
Даследаванні, праведзеныя ў гэтай галіне, далі даследчыкам зразумець, як можна аптымізаваць нейронавыя сеткі, каб навучыцца вырашаць праблемы ў рэальным свеце.
Нейронныя сеткі натхнёныя тым, як працуе мозг у свеце прыроды. Вывучаючы, як штучныя нейроны паводзяць сябе, калі вучацца гуляць у відэагульні, мы таксама можам атрымаць уяўленне аб тым, як чалавечы мозг работ.
заключэнне
Падабенства паміж нейронавымі сеткамі і мозгам прывяло да разумення ў абедзвюх галінах. Працягваюцца даследаванні таго, як нейронныя сеткі могуць вырашаць праблемы, калі-небудзь могуць прывесці да больш дасканалых формаў штучны інтэлект.
Уявіце сабе, што вы выкарыстоўваеце штучны інтэлект, адаптаваны да вашых патрабаванняў, які можа прайграць цэлую відэагульню, перш чым вы яе набудзеце, каб вы ведалі, ці вартая яна вашага часу. Ці будуць кампаніі, якія займаюцца відэагульнямі, выкарыстоўваць нейронавыя сеткі для паляпшэння дызайну гульні, узроўню налады і складанасці суперніка?
Як вы думаеце, што адбудзецца, калі нейронавыя сеткі стануць лепшымі геймерамі?
Пакінуць каментар