Видео тоглоомууд дэлхийн олон тэрбум тоглогчдод сорилт өгсөөр байна. Та үүнийг хараахан мэдэхгүй байж болох ч машин сургалтын алгоритмууд ч гэсэн сорилтыг даван туулж эхэлсэн.
Одоогийн байдлаар хиймэл оюун ухааны салбарт машин сургалтын аргуудыг видео тоглоомд ашиглах боломжтой эсэхийг судлах ихээхэн хэмжээний судалгаа хийгдэж байна. Энэ салбарын томоохон ахиц дэвшил үүнийг харуулж байна машин суралцах агентууд нь хүний тоглогчийг дуурайж эсвэл бүр орлуулахад ашиглаж болно.
Энэ нь ирээдүйд юу гэсэн үг вэ видео тоглоом?
Эдгээр төслүүд зүгээр л зугаацах зорилготой юм уу, эсвэл олон судлаачид тоглоомд анхаарлаа хандуулж байгаа гүн гүнзгий шалтгаан байна уу?
Энэ нийтлэлд видео тоглоомын хиймэл оюун ухааны түүхийг товчхон судлах болно. Дараа нь бид тоглоомыг хэрхэн ялах талаар сурахад ашиглаж болох машин сургалтын зарим аргуудын талаар товч тоймыг өгөх болно. Дараа нь бид амжилттай хэрэглүүрүүдийг авч үзэх болно мэдрэлийн тор тодорхой видео тоглоом сурч, эзэмших.
Тоглоом дахь AI-ийн товч түүх
Мэдрэлийн сүлжээ яагаад видео тоглоомыг шийдвэрлэх хамгийн тохиромжтой алгоритм болсныг ойлгохын өмнө компьютерийн эрдэмтэд хиймэл оюун ухааны судалгаагаа ахиулахын тулд видео тоглоомуудыг хэрхэн ашигласан талаар товчхон харцгаая.
Видео тоглоом нь анх үүссэн цагаасаа л хиймэл оюун ухааныг сонирхдог судлаачдын судалгааны халуун талбар байсаар ирсэн гэдэгтэй та маргаж болно.
Хэдийгээр анхан шатны видео тоглоом биш ч AI-ийн эхэн үед шатар ихээхэн анхаарал хандуулж байсан. 1951 онд доктор Дитрих Принц Ferranti Mark 1 дижитал компьютер ашиглан шатар тоглох программ зохиож байжээ. Энэ бол эдгээр том компьютерууд цаасан туузан дээрх програмуудыг унших ёстой байсан эрин үе юм.
Хөтөлбөр нь өөрөө бүрэн шатрын хиймэл оюун ухаан биш байсан. Компьютерийн хязгаарлагдмал байдлаас болж Принц зөвхөн шатрын асуудлыг шийддэг программыг бүтээж чадсан. Хөтөлбөрт дунджаар 15-20 минут зарцуулагдаж, цагаан, хар тоглогчдын боломжит нүүдэл бүрийг тооцоолсон.
Шатар, даамын хиймэл оюун ухааныг сайжруулах ажил олон арван жилийн турш тасралтгүй сайжирсан. 1997 онд IBM-ийн Deep Blue компани Оросын шатрын их мастер Гарри Каспаровыг зургаан өрөг тоглоход ялснаар ахиц дэвшил дээд цэгтээ хүрчээ. Өнөө үед гар утаснаасаа олж болох шатрын хөдөлгүүрүүд Deep Blue-г ялж чадна.
AI-ийн өрсөлдөгчид видео аркад тоглоомын алтан эрин үед нэр хүндтэй болж эхэлсэн. 1978 оны Space Invaders болон 1980-аад оны Pac-Man бол хамгийн ахмад аркад тоглогчдыг ч хангалттай сорьж чадах хиймэл оюун ухааныг бүтээх салбарын анхдагчид юм.
Ялангуяа Pac-Man бол хиймэл оюун ухаан судлаачдын туршдаг алдартай тоглоом байсан. Төрөл бүрийн тэмцээн Хатагтай Пак-Мэнд зориулж ямар баг уг тоглоомыг ялах хамгийн сайн хиймэл оюун ухааныг гаргаж болохыг тодорхойлохоор зохион байгуулсан.
Тоглоомын AI болон эвристик алгоритмууд илүү ухаалаг өрсөлдөгчдийн хэрэгцээ гарч ирснээр үргэлжлүүлэн хөгжиж байв. Жишээлбэл, байлдааны хиймэл оюун ухаан нь анхдагч хүн буудагч гэх мэт төрөл зүйл илүү түгээмэл болсон тул алдартай болсон.
Видео тоглоом дахь машин сургалт
Машин сурах техникүүд хурдан алдаршсан тул янз бүрийн судалгааны төслүүд эдгээр шинэ техникийг видео тоглоом тоглоход ашиглахыг оролдсон.
Dota 2, StarCraft, Doom зэрэг тоглоомууд эдгээрт асуудал үүсгэж болно машин сурах алгоритм шийдвэрлэх. Гүнзгий суралцах алгоритмууд, ялангуяа хүний түвшний гүйцэтгэлд хүрч, бүр давж ч чадсан.
The Зоосон машин сургалтын орчин эсвэл ALE нь судлаачдад зуу гаруй Atari 2600 тоглоомын интерфейсийг өгсөн. Нээлттэй эхийн платформ нь судлаачдад сонгодог Atari видео тоглоомууд дээр машин сургалтын техникийг харьцуулах боломжийг олгосон. Google хүртэл өөрсдийн гэсэн хэвлүүлсэн цаасан ALE-ийн долоон тоглоомыг ашиглаж байна
Үүний зэрэгцээ, төслүүд гэх мэт VizDoom AI судлаачдад 3D анхны хүн буудагч тоглохын тулд машин сургалтын алгоритмуудыг сургах боломжийг олгосон.
Энэ нь хэрхэн ажилладаг вэ: Зарим үндсэн ойлголтууд
Мэдрэлийн сүлжээ
Машины сургалтын тусламжтайгаар видео тоглоомыг шийдвэрлэх ихэнх арга нь мэдрэлийн сүлжээ гэж нэрлэгддэг алгоритмын төрлийг агуулдаг.
Та мэдрэлийн сүлжээг тархи хэрхэн ажилладагийг дуурайдаг програм гэж бодож болно. Бидний тархи дохио дамжуулдаг мэдрэлийн эсүүдээс бүрддэгтэй адил мэдрэлийн тор нь хиймэл мэдрэлийн эсүүдийг агуулдаг.
Эдгээр хиймэл мэдрэлийн эсүүд нь дохио бүрийг бодит тоогоор дамжуулдаг. Мэдрэлийн сүлжээ нь гүн мэдрэлийн сүлжээ гэж нэрлэгддэг оролт ба гаралтын давхаргын хооронд олон давхаргыг агуулдаг.
Арматурын сургалт
Видео тоглоом сурахтай холбоотой өөр нэг нийтлэг машин сургалтын арга бол бататгах сургалтын санаа юм.
Энэ техник нь шагнал эсвэл шийтгэлийг ашиглан төлөөлөгчийг сургах үйл явц юм. Энэ аргын тусламжтайгаар агент нь туршилт, алдааны замаар асуудлыг шийдэх боломжтой байх ёстой.
Могой тоглоомыг хэрхэн тоглохыг олж мэдэхийн тулд хиймэл оюун ухаантай байхыг хүсч байна гэж бодъё. Тоглоомын зорилго нь энгийн: эд зүйлсийг идэж, өсөн нэмэгдэж буй сүүлээсээ зайлсхийх замаар аль болох олон оноо аваарай.
Бататгах сургалтын тусламжтайгаар бид R шагналын функцийг тодорхойлж чадна. Могой ямар нэг зүйлийг идэхэд оноо нэмж, могой саадыг мөргөх үед оноог хасдаг. Өнөөгийн орчин болон боломжит арга хэмжээний багцыг харгалзан, бидний бататгах сургалтын загвар нь шагналын функцийг нэмэгдүүлэх оновчтой "бодлогыг" тооцоолохыг хичээх болно.
Мэдрэлийн хувьсал
Судлаачид байгалиас урам зориг авсан сэдвийг баримталж, мэдрэлийн эволюц гэж нэрлэгддэг техникээр дамжуулан видео тоглоомуудад ML-ийг ашиглахад амжилтанд хүрсэн.
Ашиглахын оронд градиент уналт сүлжээний нейроныг шинэчлэхийн тулд бид илүү сайн үр дүнд хүрэхийн тулд хувьслын алгоритмуудыг ашиглаж болно.
Хувьслын алгоритмууд нь ихэвчлэн санамсаргүй хүмүүсийн анхны популяци үүсгэх замаар эхэлдэг. Дараа нь бид эдгээр хүмүүсийг тодорхой шалгуураар үнэлдэг. Шилдэг хүмүүсийг "эцэг эх"-ээр сонгож, хамтдаа үржүүлж, шинэ үеийг бүрдүүлдэг. Дараа нь эдгээр хүмүүс популяцийн хамгийн тохиромжгүй хүмүүсийг орлуулах болно.
Эдгээр алгоритмууд нь генетикийн олон янз байдлыг хадгалахын тулд кроссовер эсвэл "үржүүлгийн" үе шатанд зарим төрлийн мутацийн үйлдлийг ихэвчлэн нэвтрүүлдэг.
Видео тоглоом дахь машин сургалтын талаархи судалгааны жишээ
OpenAI тав
OpenAI тав нь OpenAI-ийн компьютерийн программ бөгөөд DOTA 2, олон тоглогчийн гар утасны тулааны талбар (MOBA) тоглоомыг тоглох зорилготой юм.
Хөтөлбөр нь одоо байгаа бататгах сургалтын арга техникийг ашиглаж, секундэд хэдэн сая кадраас суралцахын тулд өргөжүүлсэн. Түгээмэл сургалтын системийн ачаар OpenAI өдөр бүр 180 жилийн тоглоом тоглох боломжтой болсон.
Сургалтын хугацааны дараа OpenAI Five нь мэргэжилтнүүдийн түвшний гүйцэтгэлд хүрч, хүний тоглогчидтой хамтын ажиллагаагаа харуулж чадсан. 2019 онд OpenAI тав чадсан ялагдал Нийтийн тоглолтонд оролцсон тоглогчдын 99.4%.
OpenAI яагаад энэ тоглоомыг шийдсэн бэ? Судлаачдын үзэж байгаагаар DOTA 2 нь одоо байгаа гүнд хүрэх боломжгүй нарийн төвөгтэй механиктай байсан бэхжүүлэх сургалт алгоритмууд.
Super Mario Bros.
Видео тоглоом дахь мэдрэлийн торны өөр нэг сонирхолтой хэрэглээ бол Super Mario Bros гэх мэт платформ тоглоход neuroevolution-ийг ашиглах явдал юм.
Жишээ нь, энэ байна хакатон бичлэг Энэ нь тоглоомын талаар ямар ч мэдлэггүйгээс эхэлж, ахиж дэвшихэд шаардлагатай суурь суурийг аажмаар бий болгодог.
Өөрөө хөгждөг мэдрэлийн сүлжээ нь тоглоомын өнөөгийн байдлыг хавтангийн тор болгон авдаг. Эхлээд мэдрэлийн сүлжээ нь хавтан бүр нь юу гэсэн үг болохыг ойлгодоггүй бөгөөд зөвхөн "агаар" хавтан нь "газар хавтан" ба "дайсны хавтан" -аас ялгаатай байдаг.
Хакатон төслийн нейроevolution-ийг хэрэгжүүлэхдээ NEAT генетикийн алгоритмыг ашиглан янз бүрийн мэдрэлийн сүлжээг сонгон үржүүлэв.
ач холбогдол
Видео тоглоом тоглож байгаа мэдрэлийн сүлжээнүүдийн зарим жишээг та харсан болохоор энэ бүхний утга учир юу вэ гэж та гайхаж магадгүй юм.
Видео тоглоомууд нь агентууд болон тэдгээрийн хүрээлэн буй орчны хоорондын нарийн төвөгтэй харилцан үйлчлэлийг хамардаг тул энэ нь хиймэл оюун ухаан бүтээх төгс туршилтын газар юм. Виртуал орчин нь аюулгүй бөгөөд хянах боломжтой бөгөөд хязгааргүй мэдээллийн нөөцөөр хангадаг.
Энэ чиглэлээр хийгдсэн судалгаанууд нь судлаачдад мэдрэлийн сүлжээг хэрхэн оновчтой болгож, бодит ертөнцөд асуудлыг хэрхэн шийдвэрлэх талаар олж мэдэх боломжийг олгосон.
Мэдрэлийн сүлжээ Байгалийн ертөнцөд тархи хэрхэн ажилладаг талаар санаа авсан. Видео тоглоом тоглож сурахдаа хиймэл мэдрэлийн эсүүд хэрхэн ажилладагийг судалснаар бид хэрхэн ажилладаг талаар ойлголттой болох юм. хүний тархи ажиллаж байна.
Дүгнэлт
Мэдрэлийн сүлжээ болон тархи хоёрын ижил төстэй байдал нь хоёр талбарыг ойлгоход хүргэсэн. Мэдрэлийн тор нь асуудлыг хэрхэн шийдэж чадах талаар үргэлжилсэн судалгаа нь хэзээ нэгэн цагт илүү дэвшилтэт хэлбэрт хүргэж болзошгүй юм хиймэл оюун.
Худалдан авахаасаа өмнө бүхэл бүтэн видео тоглоом тоглуулж чадах хиймэл оюун ухааныг өөрийн техникийн шаардлагад нийцүүлэн ашигласнаар энэ нь таны цагийг зарцуулах нь зүйтэй гэж төсөөлөөд үз дээ. Видео тоглоомын компаниуд тоглоомын дизайн, түвшинг өөрчлөх, өрсөлдөгчийн хүндрэлийг сайжруулахын тулд мэдрэлийн тор ашиглах уу?
Neural nets хамгийн шилдэг тоглогчид болоход юу тохиолдох бол гэж та бодож байна вэ?
хариу үлдээх