Бейне ойындар бүкіл әлем бойынша миллиардтаған ойыншыларға қиындық тудыруда. Сіз оны әлі білмеуіңіз мүмкін, бірақ машиналық оқыту алгоритмдері де қиындықтарға қарсы тұра бастады.
Қазіргі уақытта AI саласында машиналық оқыту әдістерін бейне ойындарға қолдануға болатынын білу үшін айтарлықтай зерттеулер жүргізілуде. Бұл саладағы елеулі ілгерілеушілік соны көрсетеді машина оқыту агенттер адам ойыншысына еліктеу немесе тіпті ауыстыру үшін пайдаланылуы мүмкін.
Бұл болашақ үшін нені білдіреді видео ойындары?
Бұл жобалар жай ғана көңіл көтеру үшін ме, әлде көптеген зерттеушілердің ойынға назар аударуының терең себептері бар ма?
Бұл мақала бейне ойындардағы AI тарихын қысқаша зерттейді. Содан кейін біз сізге ойындарды қалай жеңуге болатынын білу үшін қолдануға болатын кейбір машиналық оқыту әдістеріне қысқаша шолу береміз. Одан кейін кейбір сәтті қолданбаларды қарастырамыз нейрондық желілер нақты бейне ойындарды үйрену және меңгеру.
Ойындардағы AI-ның қысқаша тарихы
Неліктен нейрондық желілер бейне ойындарды шешудің тамаша алгоритміне айналғанын түсінбес бұрын, компьютер ғалымдарының AI саласындағы зерттеулерін ілгерілету үшін бейне ойындарды қалай пайдаланғанын қысқаша қарастырайық.
Бейне ойындар пайда болған сәттен бастап AI-ға қызығушылық танытатын зерттеушілер үшін зерттеудің ыстық аймағы болды деп дауласуға болады.
Бейне ойыны болмаса да, AI-ның алғашқы күндерінде шахмат үлкен назар аударды. 1951 жылы доктор Дитрих Принц Ferranti Mark 1 цифрлық компьютерінің көмегімен шахмат ойнау бағдарламасын жазды. Бұл үлкен көлемді компьютерлер бағдарламаларды қағаз таспасынан оқуға мәжбүр болған дәуірде болды.
Бағдарламаның өзі толық шахмат AI емес еді. Компьютердің шектеулеріне байланысты Принц тек шахматтың екіге қосылу мәселелерін шешетін бағдарлама жасай алды. Орташа алғанда, бағдарламаға ақ және қара ойыншылар үшін әрбір ықтимал қадамды есептеу үшін 15-20 минут қажет болды.
Шахмат пен дойбы AI жақсарту бойынша жұмыс ондаған жылдар бойы тұрақты түрде жақсарды. Прогресс 1997 жылы IBM компаниясының Deep Blue компаниясы алты ойындық жұпта ресейлік шахмат гроссмейстері Гарри Каспаровты жеңген кезде шарықтау шегіне жетті. Қазіргі уақытта ұялы телефоннан таба алатын шахмат қозғалтқыштары Deep Blue-ді жеңе алады.
AI қарсыластары видео аркада ойындарының алтын ғасырында танымал бола бастады. 1978 жылғы Space Invaders және 1980s Pac-Man - бұл аркада ойыншыларының ең ардагеріне де жеткілікті түрде қарсы тұра алатын AI жасаудағы саланың кейбір пионерлері.
Атап айтқанда, Pac-Man AI зерттеушілері үшін тәжірибе жасау үшін танымал ойын болды. Әртүрлі жарыстар Пак-Мэн ханым үшін ойынды жеңу үшін ең жақсы AI ойлап таба алатын команданы анықтау үшін ұйымдастырылған.
Ойынның AI және эвристикалық алгоритмдері дами берді, өйткені ақылды қарсыластардың қажеттілігі туындады. Мысалы, жауынгерлік AI танымал болды, өйткені бірінші адамнан ату сияқты жанрлар негізгі ағымға айналды.
Бейне ойындардағы машиналық оқыту
Машиналық оқыту әдістері тез танымал бола бастағандықтан, әртүрлі зерттеу жобалары осы жаңа әдістерді бейне ойындарды ойнау үшін қолдануға тырысты.
Dota 2, StarCraft және Doom сияқты ойындар олар үшін проблема болуы мүмкін машинаны оқыту алгоритмдері шешу. Терең оқыту алгоритмдері, атап айтқанда, адам деңгейіндегі көрсеткіштерге қол жеткізе алды және тіпті одан асып түсті.
The Аркада оқу ортасы немесе ALE зерттеушілерге жүзден астам Atari 2600 ойындарының интерфейсін берді. Ашық бастапқы платформа зерттеушілерге классикалық Atari бейне ойындарында машиналық оқыту әдістерінің өнімділігін салыстыруға мүмкіндік берді. Google тіпті өздерін жариялады қағаз ALE жеті ойынын пайдалану
Сонымен қатар, сияқты жобалар VizDoom AI зерттеушілеріне 3D бірінші адам атқыштарын ойнау үшін машиналық оқыту алгоритмдерін үйретуге мүмкіндік берді.
Бұл қалай жұмыс істейді: кейбір негізгі түсініктер
Нейрондық желілер
Бейне ойындарды машиналық оқыту арқылы шешудің көптеген тәсілдері нейрондық желі деп аталатын алгоритм түрін қамтиды.
Нейрондық желіні мидың қалай жұмыс істейтінін еліктеуге тырысатын бағдарлама ретінде қарастыруға болады. Біздің миымыз сигнал жіберетін нейрондардан тұратын сияқты, нейрондық желіде де жасанды нейрондар бар.
Бұл жасанды нейрондар сигналдарды бір-біріне тасымалдайды, олардың әрқайсысы нақты сан болып табылады. Нейрондық желіде терең нейрондық желі деп аталатын кіріс және шығыс қабаттары арасындағы бірнеше қабаттар бар.
Арматуралық оқыту
Бейне ойындарды үйренуге қатысты тағы бір кең таралған машиналық оқыту әдісі - бұл күшейтілген оқыту идеясы.
Бұл әдіс агентті марапаттау немесе жазалау арқылы оқыту процесі. Бұл тәсіл арқылы агент сынақ және қателік арқылы мәселенің шешімін таба алуы керек.
Жылан ойынын қалай ойнау керектігін білу үшін AI қалайды делік. Ойынның мақсаты қарапайым: заттарды тұтыну және өсіп келе жатқан құйрықты болдырмау арқылы мүмкіндігінше көп ұпай алыңыз.
Оқытуды күшейту арқылы біз R марапаттау функциясын анықтай аламыз. Функция жылан элементті тұтынғанда ұпай қосады және Жылан кедергіге соғылған кезде ұпайларды шегереді. Ағымдағы ортаны және ықтимал әрекеттер жиынтығын ескере отырып, біздің оқытуды нығайту үлгіміз марапаттау функциямызды барынша арттыратын оңтайлы «саясатты» есептеуге тырысады.
Нейроэволюция
Табиғат шабыттандыратын тақырыпты сақтай отырып, зерттеушілер нейроэволюция деп аталатын әдіс арқылы бейне ойындарға ML қолдануда табысқа жетті.
Пайдаланудың орнына градиенттің түсуі желідегі нейрондарды жаңарту үшін біз жақсы нәтижелерге жету үшін эволюциялық алгоритмдерді пайдалана аламыз.
Эволюциялық алгоритмдер әдетте кездейсоқ тұлғалардың бастапқы популяциясын жасау арқылы басталады. Содан кейін біз бұл адамдарды белгілі бір критерийлер арқылы бағалаймыз. Ең жақсы адамдар «ата-ана» ретінде таңдалып, жаңа ұрпақ жеке тұлғаларды қалыптастыру үшін біріктіріледі. Содан кейін бұл адамдар популяциядағы ең қолайлы адамдарды ауыстырады.
Бұл алгоритмдер әдетте генетикалық әртүрлілікті сақтау үшін кроссовер немесе «асылдандыру» қадамы кезінде мутация операциясының қандай да бір түрін енгізеді.
Бейне ойындардағы машиналық оқытуды зерттеу үлгісі
OpenAI бес
OpenAI бес — OpenAI компаниясының компьютерлік бағдарламасы, ол DOTA 2, танымал көп ойыншы мобильді шайқас аренасы (MOBA) ойынын ойнауға бағытталған.
Бағдарлама секундына миллиондаған кадрлардан үйрену үшін масштабталатын қолданыстағы күшейту оқыту әдістерін пайдаланды. Бөлінген оқыту жүйесінің арқасында OpenAI күн сайын 180 жылдық ойындарды ойнай алды.
Жаттығу кезеңінен кейін OpenAI Five сарапшы деңгейіндегі өнімділікке қол жеткізіп, адам ойыншыларымен ынтымақтастықты көрсете алды. 2019 жылы OpenAI бесеуі мүмкін болды жеңіліске ұшырады Ойыншылардың 99.4% ашық матчтарда.
Неліктен OpenAI бұл ойынды шешті? Зерттеушілердің пікірінше, DOTA 2-де бұрыннан бар тереңдікке жетпейтін күрделі механика болған күшейтуді оқыту алгоритмдер.
Super Mario Bros.
Бейне ойындардағы нейрондық желілердің тағы бір қызықты қолданбасы - Super Mario Bros сияқты платформерлер ойнау үшін нейроэволюцияны пайдалану.
Мысалы, бұл хакатонға кіру ойынды білмеуден басталады және деңгейге өту үшін қажет нәрсенің негізін баяу салады.
Өздігінен дамитын нейрондық желі ойынның қазіргі күйін тақтайшалар торы ретінде қабылдайды. Алдымен нейрондық желі әрбір плитканың нені білдіретінін түсінбейді, тек «ауа» плиткалары «жер плиткалары» мен «жау плиткаларынан» ерекшеленеді.
Хакатон жобасының нейроэволюцияны жүзеге асыруы NEAT генетикалық алгоритмін пайдаланып, әртүрлі нейрондық желілерді іріктеп өсірді.
маңыздылық
Бейне ойындарын ойнайтын нейрондық желілердің кейбір мысалдарын көргеннен кейін, сіз мұның мәні неде деген сұрақ туындауы мүмкін.
Бейне ойындар агенттер мен олардың орталары арасындағы күрделі өзара әрекеттесуді қамтитындықтан, бұл AI жасау үшін тамаша сынақ алаңы. Виртуалды орталар қауіпсіз және басқарылатын және деректердің шексіз жеткізілімін қамтамасыз етеді.
Осы салада жүргізілген зерттеулер зерттеушілерге нейрондық желілерді нақты әлемдегі мәселелерді шешуді үйрену үшін қалай оңтайландыруға болатынын түсінуге мүмкіндік берді.
Нейрондық желілер мидың табиғи әлемде қалай жұмыс істейтінінен шабыттандырады. Бейне ойынын ойнауды үйрену кезінде жасанды нейрондардың қалай әрекет ететінін зерттей отырып, біз сондай-ақ оның қалай ойнайтыны туралы түсінік аламыз. адамның миы жұмыстар.
қорытынды
Нейрондық желілер мен ми арасындағы ұқсастықтар екі салада да түсініктерге әкелді. Нейрондық желілер проблемаларды қалай шеше алатыны туралы үздіксіз зерттеулер бір күні жетілдірілген нысандарға әкелуі мүмкін жасанды интеллект.
Сатып алудан бұрын бүкіл бейне ойынын ойнай алатын, сіздің уақытыңызды қажет ететінін білу үшін техникалық сипаттамаларыңызға бейімделген AI пайдалануды елестетіп көріңіз. Бейне ойын компаниялары ойын дизайнын жақсарту, деңгейді өзгерту және қарсыластың қиындықтарын жақсарту үшін нейрондық желілерді пайдалана ма?
Нейрондық желілер соңғы ойыншыларға айналғанда не болады деп ойлайсыз?
пікір қалдыру