Видео оюндар дүйнө жүзү боюнча миллиарддаган оюнчуларга кыйынчылык жаратууну улантууда. Сиз аны азырынча биле элек болушуңуз мүмкүн, бирок машина үйрөнүү алгоритмдери да кыйынчылыктарга туруштук бере баштады.
Учурда AI тармагында машина үйрөнүү ыкмаларын видео оюндарга колдонсо болорун билүү үчүн бир топ изилдөөлөр жүрүп жатат. Бул тармактагы олуттуу жылыштар муну көрсөтүп турат машина үйрөнүү агенттер адам оюнчуну туурап же ал тургай алмаштыруу үчүн колдонсо болот.
Бул келечек үчүн эмнени билдирет оюндар?
Бул долбоорлор жөн гана көңүл ачуу үчүнбү же көптөгөн изилдөөчүлөрдүн оюндарга көңүл бурушуна тереңирээк себептер барбы?
Бул макалада видео оюндардагы AI тарыхы кыскача изилденет. Андан кийин, биз сизге оюндарды жеңүүнү үйрөнүү үчүн колдоно турган кээ бир машина үйрөнүү ыкмаларына кыскача сереп беребиз. Андан кийин биз ийгиликтүү колдонмолорду карап чыгабыз нейрон торлору белгилүү бир видео оюндарды үйрөнүү жана өздөштүрүү.
Оюндагы AIнын кыскача тарыхы
Нейрондук торлор эмне үчүн видео оюндарын чечүү үчүн идеалдуу алгоритм болуп калганын түшүнүүдөн мурун, келгиле, компьютер илимпоздору AI боюнча изилдөөлөрүн өркүндөтүү үчүн видео оюндарды кантип колдонушканын кыскача карап көрөлү.
Видео оюндар жаралгандан бери AIга кызыккан изилдөөчүлөр үчүн изилдөөнүн ысык чөйрөсү болгон деп ырастасаңыз болот.
Негизи эле видео оюну болбосо да, AIнын алгачкы күндөрүндө шахмат чоң көңүл буруп келген. 1951-жылы доктор Дитрих Принц Ferranti Mark 1 санариптик компьютеринин жардамы менен шахмат ойноо программасын жазган. Бул көлөмдүү компьютерлер программаларды кагаз лентадан окууга аргасыз болгон доордо болгон.
Программанын өзү толук шахмат AI болгон эмес. Компьютердин чектөөлөрүнөн улам Принц шахмат маселесин чечүүчү программаны гана түзө алган. Орточо алганда, программа Ак жана Кара оюнчулар үчүн мүмкүн болгон ар бир кыймылды эсептөө үчүн 15-20 мүнөт талап кылынат.
Шахмат жана шашки AI жакшыртуу боюнча иштер ондогон жылдар бою туруктуу түрдө жакшырды. Прогресс 1997-жылы IBM компаниясынын Deep Blue компаниясы россиялык шахмат боюнча гроссмейстер Гарри Каспаровду алты оюндан турган жупта жеңгенде туу чокусуна жеткен. Учурда мобилдик телефонуңуздан таба турган шахмат моторлору Deep Blueну жеңе алат.
AI каршылаштары видео аркада оюндарынын алтын доорунда популярдуу боло баштаган. 1978-жылкы Space Invaders жана 1980s Pac-Man - AI жаратууда тармактын пионерлеринин айрымдары, ал тургай аркада оюнчуларынын эң ардагерине да жетишээрлик деңгээлде каршы чыга алат.
Айрыкча, Pac-Man AI изилдөөчүлөрү үчүн эксперимент жүргүзүү үчүн популярдуу оюн болгон. Ар түрдүү сынактар Pac-Man айым үчүн кайсы команда оюнду жеңүү үчүн мыкты AI ойлоп таба аларын аныктоо үчүн уюштурулган.
Оюндун AI жана эвристикалык алгоритмдери өнүгө берди, анткени акылдуураак каршылаштарга муктаждык пайда болду. Мисалы, согуштук AI популярдуулукка ээ болду, анткени биринчи адам аткычтар сыяктуу жанрлар кеңири жайылган.
Видео оюндарда машина үйрөнүү
Машина үйрөнүү ыкмалары тез эле популярдуулукка ээ болгондуктан, ар кандай изилдөө долбоорлору видео оюндарды ойноо үчүн бул жаңы ыкмаларды колдонууга аракет кылышкан.
Dota 2, StarCraft жана Doom сыяктуу оюндар булар үчүн көйгөй болуп калышы мүмкүн машинаны үйрөнүү алгоритмдери чечүү. Терең үйрөнүү алгоритмдери, атап айтканда, адамдык децгээлдеги керсеткучтерге жетишип, ал тургай андан озуп да алышты.
The Аркада окуу чөйрөсү же ALE изилдөөчүлөргө жүздөн ашык Atari 2600 оюндарынын интерфейсин берди. Ачык булак платформасы изилдөөчүлөргө классикалык Atari видео оюндарында машина үйрөнүү ыкмаларынын натыйжалуулугун баалоого мүмкүндүк берди. Google атүгүл өздөрүнүн да жарыялаган кагаз ALE жети оюнун колдонуу
Ошол эле учурда, сыяктуу долбоорлор VizDoom AI изилдөөчүлөрүнө 3D биринчи адам аткычтарын ойноо үчүн машина үйрөнүү алгоритмдерин үйрөтүү мүмкүнчүлүгүн берди.
Бул кантип иштейт: кээ бир негизги түшүнүктөр
нейрон тармактары
Машина үйрөнүү менен видео оюндарды чечүүнүн көпчүлүк ыкмалары нейрондук тармак деп аталган алгоритмдин түрүн камтыйт.
Нейрондук торду мээнин иштешин туураган программа катары элестете аласыз. Мээбиз сигналды өткөрүүчү нейрондордон турган сыяктуу, нейрондук тордо да жасалма нейрондор бар.
Бул жасалма нейрондор да сигналдарды бири-бирине өткөрүп беришет, ар бир сигнал чыныгы сан. Нейрондук тармак терең нейрон тармагы деп аталган киргизүү жана чыгаруу катмарларынын ортосундагы бир нече катмарларды камтыйт.
Кубаттоо билим
Видео оюндарын үйрөнүүгө тиешелүү дагы бир кеңири таралган машина үйрөнүү ыкмасы - бул бекемдөөчү окутуу идеясы.
Бул ыкма агентти сыйлыктарды же жазаларды колдонуу менен окутуу процесси. Бул ыкма менен, агент сыноо жана жаңылыштык аркылуу көйгөйдү чечүү мүмкүнчүлүгүнө ээ болушу керек.
Келгиле, биз Snake оюнун кантип ойноо керектигин билгиси келет дейли. Оюндун максаты жөнөкөй: буюмдарды керектөө жана өсүп жаткан куйругуңардан качуу менен мүмкүн болушунча көп упай алыңыз.
Окууну бекемдөө менен R сыйлык функциясын аныктай алабыз. Функция жылан бир нерсени жегенде упайларды кошот жана Жылан тоскоолдукка тийгенде упайларды кемитет. Учурдагы чөйрөнү жана мүмкүн болуучу иш-аракеттердин топтомун эске алуу менен, биздин бекемдөөчү үйрөнүү моделибиз сыйлык функциябызды максималдуу кеңейткен оптималдуу "саясатты" эсептөөгө аракет кылат.
Нейроэволюция
Табияттан шыктануу менен теманы сактап, изилдөөчүлөр нейроэволюция деп аталган ыкма аркылуу видео оюндарында MLди колдонууда ийгиликке жетишкен.
Колдонуунун ордуна градиенттүү түшүү тармактагы нейрондорду жаңылоо үчүн, биз жакшы натыйжаларга жетүү үчүн эволюциялык алгоритмдерди колдоно алабыз.
Эволюциялык алгоритмдер, адатта, кокус адамдардын баштапкы популяциясын түзүү менен башталат. Андан кийин биз бул адамдарды белгилүү критерийлер менен баалайбыз. Мыкты инсандар “ата-эне” катары тандалып, жаңы муундун инсандарын калыптандыруу үчүн чогуу тарбияланат. Бул адамдар андан кийин калктын эң ылайыктуу адамдарын алмаштырышат.
Бул алгоритмдер ошондой эле, адатта, генетикалык ар түрдүүлүктү сактоо үчүн кроссовер же "асылдандыруу" баскычында мутация операциясынын кандайдыр бир түрүн киргизет.
Видео оюндарында машинаны үйрөнүү боюнча үлгү изилдөө
OpenAI Беш
OpenAI Беш бул OpenAI компаниясынын компьютердик программасы, ал DOTA 2, популярдуу көп оюнчу мобилдик согуш аренасы (MOBA) оюнун ойноого багытталган.
Программа секундасына миллиондогон кадрлардан үйрөнүү үчүн масштабдуу болгон күчтөндүрүүчү окутуу ыкмаларын колдонду. Бөлүштүрүлгөн окутуу тутумунун аркасында OpenAI күн сайын 180 жылдык оюндарды ойной алган.
Окутуу мезгилинен кийин OpenAI Five эксперттик деңгээлдеги көрсөткүчтөргө жетишип, адам оюнчулары менен кызматташууну көрсөтө алды. 2019-жылы OpenAI бешке жетишти талкалоо Коомдук матчтарда оюнчулардын 99.4%.
Эмне үчүн OpenAI бул оюнду чечти? Окумуштуулардын айтымында, DOTA 2 комплекстүү механикага ээ болгон, алар тереңдиктен алыс болгон кубаттоо билим алгоритмдер.
Супер детка
Видео оюндардагы нейрондук торлордун дагы бир кызыктуу колдонмосу бул Super Mario Bros сыяктуу платформаларды ойноо үчүн нейроэволюцияны колдонуу.
Мисалы, бул хакатонго кирүү оюнду билбегендиктен башталат жана акырындык менен деңгээлге өтүү үчүн керектүү нерселердин пайдубалын түзөт.
Өзүн-өзү өнүктүргөн нейрондук тор оюндун учурдагы абалын плиткалардын торчосу катары кабыл алат. Адегенде нейрондук тор ар бир плитканын маанисин түшүнбөйт, болгону "аба" плиткалары "жер плиткаларынан" жана "душман плиткаларынан" айырмаланат.
Хакатон долбоорунун нейроэволюцияны ишке ашырууда NEAT генетикалык алгоритми ар кандай нейрон торлорун тандап алуу үчүн колдонулган.
мааниге ээ
Эми сиз видео оюндарды ойноп жаткан нейрон торлорунун кээ бир мисалдарын көргөнүңүздөн кийин, мунун баары эмнеде деп ойлонуп жаткандырсыз.
Видео оюндар агенттер менен алардын чөйрөлөрүнүн ортосундагы татаал өз ара аракеттенүүнү камтыгандыктан, бул AI жасоо үчүн эң сонун сыноо жери. Виртуалдык чөйрөлөр коопсуз жана башкарылуучу жана чексиз маалыматтарды камсыз кылат.
Бул тармакта жүргүзүлгөн изилдөөлөр изилдөөчүлөргө реалдуу дүйнөдө көйгөйлөрдү кантип чечүүнү үйрөнүү үчүн нейрондук тармактарды кантип оптималдаштырса болору жөнүндө түшүнүк берди.
Нейрон тармактары мээнин табигый дүйнөдө кантип иштеши шыктандырылган. Жасалма нейрондор видео оюнду ойноону үйрөнүүдө өзүн кандай алып барарын изилдөө менен, биз ошондой эле адамдын мээси иштейт.
жыйынтыктоо
Нейрондук тармактар менен мээнин ортосундагы окшоштуктар эки тармакта тең түшүнүктөрдү түзүүгө алып келди. Нейрондук торлор көйгөйлөрдү кантип чече аларын изилдөөнүн уланып жатканы качандыр бир кезде анын өнүккөн формаларына алып келиши мүмкүн Жасалма интеллект.
Сатып алуудан мурун бүтүндөй видео оюнду ойной турган спецификацияларыңызга ылайыкташтырылган AI колдонууну элестетиңиз, бул убакытыңыздын керегине жарайбы же жокпу билесиз. Видео оюн компаниялары нейрон торлорун оюндун дизайнын, деңгээлин өзгөртүү жана атаандаштын кыйынчылыгын жакшыртуу үчүн колдонобу?
Нейрондук торлор эң мыкты оюнчуларга айланганда эмне болот деп ойлойсуз?
Таштап Жооп