ვიდეო თამაშები კვლავაც გამოწვევას უქმნის მილიარდობით მოთამაშეს მთელს მსოფლიოში. შეიძლება ეს ჯერ არ იცოდეთ, მაგრამ მანქანათმცოდნეობის ალგორითმებმაც დაიწყეს გამოწვევა.
ამჟამად არის მნიშვნელოვანი კვლევები ხელოვნური ინტელექტის სფეროში, რათა დავინახოთ, შესაძლებელია თუ არა მანქანური სწავლების მეთოდების გამოყენება ვიდეო თამაშებზე. ამ სფეროში არსებითი პროგრესი ამას აჩვენებს მანქანა სწავლის აგენტები შეიძლება გამოყენებულ იქნას ადამიანის მოთამაშის მიბაძვისთვის ან თუნდაც შესაცვლელად.
რას ნიშნავს ეს მომავლისთვის ვიდეო თამაშები?
არის ეს პროექტები უბრალოდ გასართობად, თუ არსებობს უფრო ღრმა მიზეზები, რის გამოც ამდენი მკვლევარი ყურადღებას ამახვილებს თამაშებზე?
ეს სტატია მოკლედ შეისწავლის AI-ის ისტორიას ვიდეო თამაშებში. ამის შემდეგ, ჩვენ მოგაწვდით სწრაფ მიმოხილვას მანქანური სწავლების ზოგიერთი ტექნიკის შესახებ, რომლებიც შეგვიძლია გამოვიყენოთ იმისათვის, რომ ვისწავლოთ როგორ დავამარცხოთ თამაშები. შემდეგ განვიხილავთ რამდენიმე წარმატებულ აპლიკაციას ნერვული ბადეები ისწავლონ და დაეუფლონ კონკრეტულ ვიდეო თამაშებს.
AI-ის მოკლე ისტორია თამაშებში
სანამ გავიგებდეთ, რატომ გახდა ნერვული ბადეები იდეალური ალგორითმი ვიდეო თამაშების გადასაჭრელად, მოდით მოკლედ გადავხედოთ, თუ როგორ იყენებდნენ კომპიუტერის მეცნიერები ვიდეო თამაშებს ხელოვნური ინტელექტის სფეროში კვლევების გასაუმჯობესებლად.
შეგიძლიათ ამტკიცებდეთ, რომ დაარსების დღიდან ვიდეო თამაშები იყო AI-ით დაინტერესებული მკვლევარების კვლევის ცხელი სფერო.
მიუხედავად იმისა, რომ არ არის მკაცრად ვიდეო თამაში წარმოშობის, ჭადრაკი იყო დიდი ყურადღება AI ადრეულ დღეებში. 1951 წელს დოქტორმა დიტრიხ პრინცმა დაწერა ჭადრაკის სათამაშო პროგრამა Ferranti Mark 1 ციფრული კომპიუტერის გამოყენებით. ეს იყო იმ ეპოქაში, როდესაც ამ მოცულობით კომპიუტერებს უწევდათ პროგრამების წაკითხვა ქაღალდის ლენტიდან.
თავად პროგრამა არ იყო სრული ჭადრაკის AI. კომპიუტერის შეზღუდვების გამო, პრინსს შეეძლო შეექმნა მხოლოდ პროგრამა, რომელიც აგვარებდა mate-in-two საჭადრაკო პრობლემებს. პროგრამას საშუალოდ 15-20 წუთი დასჭირდა თეთრ-შავკანიანთა ყველა შესაძლო ნაბიჯის გამოსათვლელად.
ჭადრაკისა და ქვის ხელოვნური ინტელექტის გაუმჯობესებაზე მუშაობა სტაბილურად უმჯობესდებოდა ათწლეულების განმავლობაში. პროგრესმა კულმინაციას მიაღწია 1997 წელს, როდესაც IBM-ის Deep Blue-მა დაამარცხა რუსი მოჭადრაკე დიდოსტატი გარი კასპაროვი ექვსთამაშიანი მატჩის წყვილში. დღესდღეობით, საჭადრაკო ძრავებს, რომლებსაც თქვენს მობილურ ტელეფონში ნახავთ, შეუძლიათ Deep Blue-ის დამარცხება.
ხელოვნური ინტელექტის მოწინააღმდეგეებმა პოპულარობის მოპოვება დაიწყეს ვიდეო არკადული თამაშების ოქროს ხანაში. 1978-ის Space Invaders და 1980-იანების Pac-Man ინდუსტრიის ზოგიერთი პიონერია ხელოვნური ინტელექტის შექმნის საქმეში, რომელსაც შეუძლია საკმარისად დაუპირისპირდეს არკადულ მოთამაშეებსაც კი.
კერძოდ, Pac-Man იყო პოპულარული თამაში ხელოვნური ინტელექტის მკვლევარებისთვის ექსპერიმენტებისთვის. სხვადასხვანაირი კონკურსები ქალბატონი Pac-Man-ისთვის იყო ორგანიზებული იმის დასადგენად, თუ რომელ გუნდს შეეძლო მოეპოვებინა საუკეთესო AI თამაშის დამარცხება.
თამაშის ხელოვნური ინტელექტი და ევრისტიკული ალგორითმები განაგრძობდნენ განვითარებას, რადგან გაჩნდა უფრო ჭკვიანი ოპონენტების საჭიროება. მაგალითად, საბრძოლო ხელოვნური ხელოვნური ინტელექტის პოპულარობა გაიზარდა, რადგან ისეთი ჟანრები, როგორიცაა პირველი პირის მსროლელები, უფრო მეინსტრიმული გახდა.
მანქანათმცოდნეობა ვიდეო თამაშებში
მას შემდეგ, რაც მანქანათმცოდნეობის ტექნიკა სწრაფად გაიზარდა პოპულარობით, სხვადასხვა კვლევითი პროექტები ცდილობდნენ ამ ახალი ტექნიკის გამოყენებას ვიდეო თამაშების სათამაშოდ.
თამაშები, როგორიცაა Dota 2, StarCraft და Doom, შეიძლება იყოს პრობლემები ამისთვის მანქანა სწავლების ალგორითმები გადაწყვეტა. ღრმა სწავლის ალგორითმებიკერძოდ, შეძლეს მიაღწიონ და გადააჭარბონ ადამიანურ დონეს.
ის არკადული სასწავლო გარემო ან ALE-მ მკვლევარებს მისცა ინტერფეისი ასზე მეტი Atari 2600 თამაშისთვის. ღია წყაროს პლატფორმა საშუალებას აძლევდა მკვლევარებს, შეაფასონ მანქანური სწავლების ტექნიკის შესრულება კლასიკურ Atari ვიდეო თამაშებზე. Google-მაც კი გამოაქვეყნა საკუთარი ქაღალდი შვიდი თამაშის გამოყენებით ALE-დან
იმავდროულად, პროექტები, როგორიცაა VizDoom ხელოვნური ინტელექტის მკვლევარებს საშუალება მისცა მანქანური სწავლების ალგორითმები ეთამაშათ 3D პირველი პირის მსროლელებისთვის.
როგორ მუშაობს: რამდენიმე ძირითადი კონცეფცია
Ნეირონული ქსელები
მანქანური სწავლებით ვიდეო თამაშების გადაჭრის მიდგომების უმეტესობა მოიცავს ალგორითმის ტიპს, რომელიც ცნობილია როგორც ნერვული ქსელი.
თქვენ შეგიძლიათ იფიქროთ ნერვულ ქსელზე, როგორც პროგრამაზე, რომელიც ცდილობს მიბაძოს, თუ როგორ შეიძლება ფუნქციონირდეს ტვინი. ისევე, როგორც ჩვენი ტვინი შედგება ნეირონებისგან, რომლებიც გადასცემენ სიგნალს, ნერვული ქსელი ასევე შეიცავს ხელოვნურ ნეირონებს.
ეს ხელოვნური ნეირონები ასევე გადასცემენ სიგნალებს ერთმანეთს, თითოეული სიგნალი არის რეალური რიცხვი. ნერვული ქსელი შეიცავს მრავალ ფენას შეყვანის და გამომავალი ფენებს შორის, რომელსაც ეწოდება ღრმა ნერვული ქსელი.
გამაგრების სწავლა
მანქანური სწავლების კიდევ ერთი გავრცელებული ტექნიკა, რომელიც ეხება ვიდეო თამაშების სწავლას, არის განმტკიცების სწავლის იდეა.
ეს ტექნიკა არის აგენტის მომზადების პროცესი ჯილდოების ან დასჯების გამოყენებით. ამ მიდგომით, აგენტს უნდა შეეძლოს პრობლემის გადაწყვეტა საცდელი და შეცდომის გზით.
ვთქვათ, გვინდა AI-მ გაარკვიოს, თუ როგორ უნდა ითამაშოს თამაში Snake. თამაშის მიზანი მარტივია: მიიღეთ რაც შეიძლება მეტი ქულა ნივთების მოხმარებით და თავიდან აიცილოთ თქვენი მზარდი კუდი.
გამაგრებითი სწავლით, ჩვენ შეგვიძლია განვსაზღვროთ ჯილდოს ფუნქცია R. ფუნქცია ამატებს ქულებს, როდესაც გველი მოიხმარს ნივთს და აკლებს ქულებს, როდესაც გველი ხვდება დაბრკოლებას. ამჟამინდელი გარემოსა და შესაძლო ქმედებების ნაკრების გათვალისწინებით, ჩვენი განმამტკიცებელი სწავლის მოდელი შეეცდება გამოთვალოს ოპტიმალური „პოლიტიკა“, რომელიც მაქსიმალურად გაზრდის ჩვენს ჯილდოს ფუნქციას.
ნეიროევოლუცია
ბუნებით შთაგონების თემის დაცვით, მკვლევარებმა ასევე მიაღწიეს წარმატებას ML-ის გამოყენებაში ვიდეო თამაშებში ტექნიკის საშუალებით, რომელიც ცნობილია როგორც ნეიროევოლუცია.
იმის ნაცვლად, რომ გამოიყენოთ გრადიენტური დაღმართი ქსელში ნეირონების გასაახლებლად, ჩვენ შეგვიძლია გამოვიყენოთ ევოლუციური ალგორითმები უკეთესი შედეგების მისაღწევად.
ევოლუციური ალგორითმები, როგორც წესი, იწყება შემთხვევითი ინდივიდების საწყისი პოპულაციის გენერირებით. შემდეგ ჩვენ ვაფასებთ ამ პირებს გარკვეული კრიტერიუმების გამოყენებით. საუკეთესო პიროვნებებს ირჩევენ „მშობლად“ და ერთად ქმნიან ინდივიდთა ახალი თაობის ჩამოყალიბებას. შემდეგ ეს პირები ჩაანაცვლებენ პოპულაციაში ყველაზე ნაკლებად მორგებულ ინდივიდებს.
ეს ალგორითმები ასევე, როგორც წესი, წარმოადგენენ მუტაციის მოქმედების გარკვეულ ფორმას კროსოვერის ან „გამრავლების“ საფეხურზე გენეტიკური მრავალფეროვნების შესანარჩუნებლად.
ვიდეო თამაშებში მანქანათმცოდნეობის კვლევის ნიმუში
OpenAI Five
OpenAI Five არის OpenAI-ის კომპიუტერული პროგრამა, რომელიც მიზნად ისახავს DOTA 2-ის, პოპულარული მრავალმოთამაშიანი მობილური საბრძოლო არენის (MOBA) თამაშის თამაში.
პროგრამამ გამოიყენა არსებული განმტკიცების სწავლის ტექნიკა, მასშტაბური სწავლისთვის მილიონობით კადრებიდან წამში. განაწილებული ტრენინგის სისტემის წყალობით, OpenAI-ს შეეძლო ყოველდღე ეთამაშა 180 წლის თამაშები.
ტრენინგის პერიოდის შემდეგ, OpenAI Five-მ შეძლო მიაღწიოს ექსპერტთა დონის შესრულებას და ადამიანებთან თანამშრომლობის დემონსტრირებას. 2019 წელს OpenAI ხუთმა შეძლო დაამარცხებს მოთამაშეთა 99.4% საჯარო მატჩებში.
რატომ გადაწყვიტა OpenAI-მ ამ თამაშზე? მკვლევარების აზრით, DOTA 2-ს გააჩნდა რთული მექანიკა, რომელიც არსებული სიღრმეების მიღმა იყო გაძლიერების სწავლება ალგორითმები.
Super Mario Bros.
ნერვული ბადეების კიდევ ერთი საინტერესო გამოყენება ვიდეო თამაშებში არის ნეიროევოლუციის გამოყენება პლატფორმების სათამაშოდ, როგორიცაა Super Mario Bros.
მაგალითად, ეს ჰაკათონის შესვლა იწყება თამაშის შესახებ ცოდნის არქონით და ნელ-ნელა აშენებს საფუძველს, თუ რა არის საჭირო დონის წინსვლისთვის.
თვითგანვითარებადი ნერვული ქსელი იღებს თამაშის ამჟამინდელ მდგომარეობას, როგორც ფილების ბადე. თავდაპირველად, ნერვულ ქსელს არ ესმის, რას ნიშნავს თითოეული ფილა, მხოლოდ ის, რომ "ჰაერი" ფილები განსხვავდება "მიწის ფილებისგან" და "მტრის ფილებისგან".
ჰაკათონის პროექტის მიერ ნეიროევოლუციის განხორციელებამ გამოიყენა NEAT გენეტიკური ალგორითმი სხვადასხვა ნერვული ქსელების შერჩევით გასაშენებლად.
მნიშვნელობა
ახლა, როდესაც ნახეთ ნერვული ქსელების რამდენიმე მაგალითი, რომლებიც თამაშობენ ვიდეო თამაშებს, შეიძლება გაინტერესებთ, რა არის ამ ყველაფრის აზრი.
იმის გამო, რომ ვიდეო თამაშები მოიცავს აგენტებსა და მათ გარემოს შორის რთულ ურთიერთქმედებას, ეს არის შესანიშნავი ტესტირება ხელოვნური ინტელექტის შესაქმნელად. ვირტუალური გარემო უსაფრთხო და კონტროლირებადია და უზრუნველყოფს მონაცემთა უსასრულო მარაგს.
ამ სფეროში ჩატარებულმა კვლევამ მკვლევარებს მისცა ხედვა იმის შესახებ, თუ როგორ შეიძლება ნერვული ბადეების ოპტიმიზაცია, რათა ისწავლონ პრობლემების გადაჭრა რეალურ სამყაროში.
Ნეირონული ქსელები შთაგონებულია, თუ როგორ მუშაობს ტვინი ბუნებრივ სამყაროში. იმის შესწავლით, თუ როგორ იქცევიან ხელოვნური ნეირონები ვიდეო თამაშის თამაშის სწავლისას, ჩვენ ასევე შეგვიძლია გავიგოთ, თუ როგორ ადამიანის ტვინი მუშაობს.
დასკვნა
მსგავსებამ ნერვულ ქსელებსა და ტვინს შორის გამოიწვია გაგება ორივე სფეროში. განგრძობითმა კვლევამ იმის შესახებ, თუ როგორ შეუძლიათ ნერვულ ქსელებს პრობლემების გადაჭრა, ერთ დღეს შეიძლება გამოიწვიოს უფრო მოწინავე ფორმები ხელოვნური ინტელექტი.
წარმოიდგინეთ, რომ იყენებთ თქვენს სპეციფიკაციებზე მორგებულ AI-ს, რომელსაც შეუძლია მთელი ვიდეო თამაშის თამაში სანამ იყიდით, რათა იცოდეთ ღირს თუ არა თქვენი დრო. გამოიყენებენ თუ არა ვიდეო თამაშების კომპანიები ნერვულ ბადეებს თამაშის დიზაინის, შესწორების დონისა და მოწინააღმდეგის სირთულის გასაუმჯობესებლად?
როგორ ფიქრობთ, რა მოხდება, როდესაც ნერვული ბადეები გახდებიან საბოლოო მოთამაშეები?
დატოვე პასუხი