משחקי וידאו ממשיכים לספק אתגר למיליארדי שחקנים ברחבי העולם. אולי אתה עדיין לא יודע את זה, אבל אלגוריתמי למידת מכונה התחילו להתמודד גם עם האתגר.
יש כיום כמות משמעותית של מחקר בתחום הבינה המלאכותית כדי לראות אם ניתן ליישם שיטות למידת מכונה על משחקי וידאו. התקדמות ניכרת בתחום זה מראה זאת למידת מכונה ניתן להשתמש בסוכנים כדי לחקות או אפילו להחליף את השחקן האנושי.
מה זה אומר לעתיד של משחקי וידאו?
האם הפרויקטים האלה פשוט בשביל הכיף, או שיש סיבות עמוקות יותר לכך שכל כך הרבה חוקרים מתמקדים במשחקים?
מאמר זה יחקור בקצרה את ההיסטוריה של AI במשחקי וידאו. לאחר מכן, אנו נותנים לך סקירה מהירה של כמה טכניקות למידת מכונה שבהן אנו יכולים להשתמש כדי ללמוד כיצד לנצח משחקים. לאחר מכן נסתכל על כמה יישומים מוצלחים של רשתות עצביות ללמוד ולשלוט במשחקי וידאו ספציפיים.
היסטוריה קצרה של AI במשחקים
לפני שניכנס לסיבה מדוע רשתות עצביות הפכו לאלגוריתם האידיאלי לפתרון משחקי וידאו, הבה נבחן בקצרה כיצד מדעני מחשב השתמשו במשחקי וידאו כדי לקדם את המחקר שלהם ב-AI.
אתה יכול לטעון שמרגע הקמתו, משחקי וידאו היו תחום מחקר חם עבור חוקרים המתעניינים בבינה מלאכותית.
אמנם לא רק משחק וידאו במקורו, שחמט היה מוקד גדול בימים הראשונים של הבינה המלאכותית. בשנת 1951, ד"ר דיטריך פרינץ כתב תוכנית שחמט באמצעות המחשב הדיגיטלי Ferranti Mark 1. זה היה הרבה בעידן שבו המחשבים המגושמים האלה היו צריכים לקרוא תוכניות מתוך סרט נייר.
התוכנית עצמה לא הייתה בינה מלאכותית של שחמט. בגלל מגבלות המחשב, פרינץ יכול היה ליצור רק תוכנית שפתרה בעיות שחמט בין זוג. בממוצע, לתוכנית לקח 15-20 דקות לחשב כל מהלך אפשרי עבור השחקנים הלבנים והשחורים.
העבודה על שיפור בינה מלאכותית של שחמט ודמקה השתפרה בהתמדה לאורך עשרות השנים. ההתקדמות הגיעה לשיאה ב-1997 כאשר כחול עמוק של יבמ ניצח את רב-אמן השחמט הרוסי גארי קספרוב בצמד של שישה משחקים. כיום, מנועי שחמט שתוכלו למצוא בטלפון הנייד שלכם יכולים להביס את כחול עמוק.
מתנגדי AI החלו לצבור פופולריות במהלך תור הזהב של משחקי ארקייד וידאו. ה-Space Invaders של 1978 ו-1980 Pac-Man הם חלק מחלוצי התעשייה ביצירת בינה מלאכותית שיכולה לאתגר מספיק אפילו את הוותיקים ביותר מבין שחקני ארקייד.
Pac-Man, במיוחד, היה משחק פופולרי עבור חוקרי AI להתנסות בו. שׁוֹנִים תחרויות עבור גב' Pac-Man אורגנו כדי לקבוע איזו קבוצה יכולה להמציא את הבינה המלאכותית הטובה ביותר כדי לנצח את המשחק.
בינה מלאכותית של משחק ואלגוריתמים היוריסטיים המשיכו להתפתח ככל שהתעורר הצורך ביריבים חכמים יותר. לדוגמה, בינה מלאכותית קרבית עלתה בפופולריות כאשר ז'אנרים כמו יריות מגוף ראשון הפכו למיינסטרים יותר.
למידת מכונה במשחקי וידאו
כאשר טכניקות למידת מכונה עלו במהירות בפופולריות, פרויקטי מחקר שונים ניסו להשתמש בטכניקות החדשות הללו כדי לשחק במשחקי וידאו.
משחקים כגון Dota 2, StarCraft ו-Doom יכולים לשמש כבעיות עבור אלה אלגוריתמים למידת מכונה לפתור. אלגוריתמי למידה עמוקה, במיוחד, הצליחו להשיג ואף לעלות על ביצועים ברמת האדם.
השמיים סביבת למידה של ארקייד או ALE נתנו לחוקרים ממשק ליותר ממאה משחקים של Atari 2600. פלטפורמת הקוד הפתוח אפשרה לחוקרים לבצע ביצועים של טכניקות למידת מכונה במשחקי וידאו קלאסיים של Atari. גוגל אפילו פרסמו משלהם מאמר באמצעות שבעה משחקים מה-ALE
בינתיים, פרויקטים כמו VizDoom נתן לחוקרי בינה מלאכותית את ההזדמנות לאמן אלגוריתמים של למידת מכונה לשחק יריות תלת מימד בגוף ראשון.
איך זה עובד: כמה מושגי מפתח
רשתות עצביות
רוב הגישות לפתרון משחקי וידאו עם למידת מכונה כוללות סוג של אלגוריתם המכונה רשת עצבית.
אתה יכול לחשוב על רשת עצבית כתוכנית שמנסה לחקות את האופן שבו המוח עשוי לתפקד. בדומה לאופן שבו המוח שלנו מורכב מנוירונים המעבירים אות, רשת עצבית מכילה גם נוירונים מלאכותיים.
הנוירונים המלאכותיים הללו גם מעבירים אותות זה לזה, כאשר כל אות הוא מספר ממשי. רשת עצבית מכילה שכבות מרובות בין שכבות הקלט והפלט, הנקראת רשת עצבית עמוקה.
לימוד עם חיזוקים
טכניקת למידת מכונה נפוצה נוספת הרלוונטית ללימוד משחקי וידאו היא הרעיון של למידת חיזוק.
טכניקה זו היא תהליך הכשרת סוכן באמצעות פרסים או עונשים. בגישה זו, הסוכן אמור להיות מסוגל להמציא פתרון לבעיה באמצעות ניסוי וטעייה.
נניח שאנחנו רוצים AI כדי לגלות איך לשחק את המשחק Snake. מטרת המשחק היא פשוטה: להשיג כמה שיותר נקודות על ידי צריכת פריטים והימנעות מהזנב הגדל שלך.
בעזרת למידת חיזוק, נוכל להגדיר פונקציית תגמול R. הפונקציה מוסיפה נקודות כאשר נחש צורך פריט ומפחיתה נקודות כאשר הנחש פוגע במכשול. בהתחשב בסביבה הנוכחית ובמערכת של פעולות אפשריות, מודל למידת החיזוק שלנו ינסה לחשב את ה'מדיניות' האופטימלית שממקסמת את תפקוד התגמול שלנו.
נוירואבולוציה
תוך שמירה על נושא בהשראת הטבע, חוקרים מצאו הצלחה גם ביישום ML למשחקי וידאו באמצעות טכניקה המכונה נוירואבולוציה.
במקום להשתמש ירידת שיפוע כדי לעדכן נוירונים ברשת, אנו יכולים להשתמש באלגוריתמים אבולוציוניים כדי להשיג תוצאות טובות יותר.
אלגוריתמים אבולוציוניים מתחילים בדרך כלל ביצירת אוכלוסייה ראשונית של פרטים אקראיים. לאחר מכן אנו מעריכים אנשים אלה באמצעות קריטריונים מסוימים. הפרטים הטובים ביותר נבחרים כ"הורים" וגדלים יחד כדי ליצור דור חדש של פרטים. פרטים אלו יחליפו אז את הפרטים הפחות בכושר באוכלוסייה.
אלגוריתמים אלה גם מציגים בדרך כלל צורה כלשהי של פעולת מוטציה במהלך ההצלבה או שלב ה"התרבות" כדי לשמור על מגוון גנטי.
מחקר לדוגמה על למידת מכונה במשחקי וידאו
OpenAI חמש
OpenAI חמש היא תוכנת מחשב של OpenAI שמטרתה לשחק ב-DOTA 2, משחק פופולרי בזירת קרב ניידת מרובה משתתפים (MOBA).
התוכנית מינפה טכניקות למידת חיזוק קיימות, בקנה מידה ללמידה ממיליוני פריימים בשנייה. הודות למערכת אימון מבוזרת, OpenAI הצליחה לשחק משחקים של 180 שנים בכל יום.
לאחר תקופת ההכשרה, OpenAI Five הצליחה להשיג ביצועים ברמה של מומחה ולהפגין שיתוף פעולה עם שחקנים אנושיים. בשנת 2019, OpenAI five הצליחה לנצח 99.4% מהשחקנים במשחקים פומביים.
למה OpenAI החליטה על המשחק הזה? לדברי החוקרים, ל-DOTA 2 הייתה מכניקה מורכבת שהייתה מחוץ להישג ידם של עומק הקיים למידה חיזוק אלגוריתמים.
האחים סופר מריו
יישום מעניין נוסף של רשתות עצביות במשחקי וידאו הוא השימוש בנוירואבולוציה כדי לשחק בפלטפורמות כגון Super Mario Bros.
לדוגמה, זה כניסה להאקתון מתחיל בחוסר ידע במשחק ולאט לאט בונה בסיס למה שצריך כדי להתקדם ברמה.
הרשת העצבית המתפתחת מעצמה תופסת את המצב הנוכחי של המשחק כרשת של אריחים. בהתחלה, הרשת העצבית לא מבינה מה המשמעות של כל אריח, רק שאריחי ה"אוויר" שונים מ"אריחי הקרקע" ו"אריחי האויב".
יישום נוירואבולוציה של פרויקט ההאקתון השתמש באלגוריתם הגנטי NEAT כדי לגדל רשתות עצביות שונות באופן סלקטיבי.
חשיבות
כעת, לאחר שראיתם כמה דוגמאות לרשתות עצביות שמשחקות במשחקי וידאו, אולי אתם תוהים מה הטעם בכל זה.
מכיוון שמשחקי וידאו כוללים אינטראקציות מורכבות בין סוכנים וסביבותיהם, זהו שדה הבדיקה המושלם ליצירת AI. סביבות וירטואליות בטוחות וניתנות לשליטה ומספקות אספקה אינסופית של נתונים.
מחקר שנעשה בתחום זה נתן לחוקרים תובנה כיצד ניתן לייעל רשתות עצביות כדי ללמוד כיצד לפתור בעיות בעולם האמיתי.
רשתות עצביות מקבלים השראה מהאופן שבו מוחות פועלים בעולם הטבע. על ידי לימוד כיצד נוירונים מלאכותיים מתנהגים כאשר לומדים כיצד לשחק משחק וידאו, אנו עשויים גם לקבל תובנות כיצד מוח אנושי יצירות.
סיכום
קווי דמיון בין רשתות עצביות למוח הובילו לתובנות בשני התחומים. המחקר המתמשך על האופן שבו רשתות עצביות יכולות לפתור בעיות עשוי יום אחד להוביל לצורות מתקדמות יותר של בינה מלאכותית.
תאר לעצמך שאתה משתמש ב-AI המותאם למפרטים שלך שיכול לשחק משחק וידאו שלם לפני שאתה רוכש אותו כדי ליידע אותך אם זה שווה את הזמן שלך. האם חברות משחקי וידיאו ישתמשו ברשתות עצביות כדי לשפר את עיצוב המשחק, רמת הכוונון והקושי של היריב?
מה לדעתך יקרה כאשר רשתות עצבים יהפכו לגיימרים האולטימטיביים?
השאירו תגובה