עיבוד עצבי הוא טכניקה מתפתחת בלמידה עמוקה שמטרתה להגדיל את הצינור הקלאסי של גרפיקה ממוחשבת עם רשתות עצביות.
אלגוריתם עיבוד עצבי ידרוש קבוצה של תמונות המייצגות זוויות שונות של אותה סצנה. תמונות אלה יוזנו לרשת עצבית כדי ליצור מודל שיכול להפיק זוויות חדשות של אותה סצנה.
הברק מאחורי העיבוד העצבי טמון באופן שבו הוא יכול לשחזר במדויק סצנות פוטוריאליסטיות מפורטות מבלי להסתמך על שיטות קלאסיות שעשויות להיות תובעניות יותר מבחינה חישובית.
לפני שנצלול לאופן שבו עובד עיבוד עצבי, בואו נעבור על היסודות של עיבוד קלאסי.
מהו עיבוד קלאסי?
בואו נבין תחילה את השיטות האופייניות המשמשות בעיבוד קלאסי.
עיבוד קלאסי מתייחס למכלול הטכניקות המשמשות ליצירת תמונה דו מימדית של סצנה תלת מימדית. הידוע גם בשם סינתזת תמונה, רינדור קלאסי משתמש באלגוריתמים שונים כדי לדמות את האופן שבו האור מקיים אינטראקציה עם סוגים שונים של אובייקטים.
לדוגמה, רינדור לבנה מוצקה ידרוש קבוצה מסוימת של אלגוריתמים כדי לקבוע את מיקום הצל או עד כמה יהיה מואר היטב כל צד של הקיר. באופן דומה, עצמים המחזירים או שוברים אור, כגון מראה, חפץ מבריק או גוף מים, ידרשו גם הם טכניקות משלהם.
בעיבוד קלאסי, כל נכס מיוצג באמצעות רשת מצולע. לאחר מכן תוכנית הצללה תשתמש במצולע כקלט כדי לקבוע כיצד האובייקט ייראה בהינתן התאורה והזווית שצוינו.
רינדור ריאליסטי ידרוש הרבה יותר כוח חישוב מכיוון שלנכסים שלנו יש בסופו של דבר מיליוני מצולעים לשימוש כקלט. הפלט שנוצר על ידי מחשב, הנפוץ בשובר קופות הוליווד, לוקח בדרך כלל שבועות או אפילו חודשים לעיבוד ויכול לעלות מיליוני דולרים.
גישת איתור הקרניים יקרה במיוחד מכיוון שכל פיקסל בתמונה הסופית דורשת חישוב של הנתיב שאור לוקח ממקור האור לאובייקט ולמצלמה.
ההתקדמות בחומרה הפכה את עיבוד הגרפיקה לנגיש הרבה יותר עבור המשתמשים. לדוגמה, רבים מהאחרונים משחקי וידאו לאפשר אפקטים מעקבי קרניים כגון השתקפויות וצללים פוטו-ריאליסטיים כל עוד החומרה שלהם עומדת במשימה.
ה-GPUs העדכניים ביותר (יחידות עיבוד גרפיות) נבנו במיוחד כדי לעזור ל-CPU להתמודד עם החישובים המורכבים ביותר הנדרשים לעיבוד גרפיקה צילום-ריאליסטית.
עליית העיבוד העצבי
עיבוד עצבי מנסה להתמודד עם בעיית העיבוד בדרך אחרת. במקום להשתמש באלגוריתמים כדי לדמות איך האור יוצר אינטראקציה עם אובייקטים, מה אם ניצור מודל שלומד איך סצנה צריכה להיראות מזווית מסוימת?
אתה יכול לחשוב על זה כעל קיצור דרך ליצירת סצנות פוטוריאליסטיות. עם עיבוד עצבי, אנחנו לא צריכים לחשב איך האור מתקשר עם אובייקט, אנחנו רק צריכים מספיק נתוני אימון.
גישה זו מאפשרת לחוקרים ליצור עיבודים באיכות גבוהה של סצנות מורכבות ללא צורך בביצוע
מהם שדות עצביים?
כפי שהוזכר קודם לכן, רוב העיבודים התלת-ממדיים משתמשים ברשתות מצולעים כדי לאחסן נתונים על הצורה והמרקם של כל אובייקט.
עם זאת, שדות עצביים צוברים פופולריות כשיטה חלופית לייצוג עצמים תלת מימדיים. שלא כמו רשתות מצולעים, שדות עצביים ניתנים להבדלה ומתמשכים.
למה אנחנו מתכוונים כשאנחנו אומרים ששדות עצביים ניתנים להבדלה?
כעת ניתן לאמן פלט דו-ממדי משדה עצבי להפוך לפוטו-ריאליסטי על ידי התאמת המשקלים של הרשת העצבית.
באמצעות שדות עצביים, איננו צריכים עוד לדמות את הפיזיקה של האור כדי להציג סצנה. הידע כיצד יואר העיבוד הסופי מאוחסן כעת באופן מרומז בתוך המשקולות שלנו רשת עצבית.
זה מאפשר לנו ליצור תמונות וסרטונים חדשים במהירות יחסית רק מקומץ תמונות או קטעי וידאו.
איך לאמן שדה עצבי?
כעת, כשאנחנו יודעים את היסודות של אופן פעולתו של שדה עצבי, בואו נסתכל כיצד חוקרים מסוגלים לאמן שדה זוהר עצבי או NeRF.
ראשית, נצטרך לדגום את הקואורדינטות האקראיות של סצנה ולהזין אותן לרשת עצבית. רשת זו תוכל אז לייצר כמויות שדה.
כמויות השדה המופקות נחשבות לדוגמאות מתחום השחזור הרצוי של הסצנה שאנו רוצים ליצור.
לאחר מכן נצטרך למפות את השחזור לתמונות דו-ממדיות בפועל. לאחר מכן, אלגוריתם יחשב את שגיאת השחזור. שגיאה זו תנחה את הרשת העצבית לייעל את יכולתה לשחזר את הסצנה.
יישומים של עיבוד עצבי
סינתזת נוף רומן
סינתזת תצוגה חדשה מתייחסת למשימה של יצירת נקודות מבט של מצלמה מזוויות חדשות תוך שימוש בנתונים ממספר מצומצם של נקודות מבט.
טכניקות עיבוד עצבי מנסות לנחש את המיקום היחסי של המצלמה עבור כל תמונה במערך הנתונים ולהזין את הנתונים הללו לרשת עצבית.
הרשת העצבית תיצור אז ייצוג תלת-ממדי של הסצנה שבה לכל נקודה בחלל התלת-ממד יש צבע וצפיפות קשורים.
יישום חדש של NeRFs ב צפה ברחוב גוגל משתמש בסינתזת צפייה חדשה כדי לאפשר למשתמשים לחקור מיקומים בעולם האמיתי כאילו הם שולטים במצלמה שמצלמת סרטון. זה מאפשר לתיירים לחקור יעדים בצורה סוחפת לפני שהם מחליטים לנסוע לאתר ספציפי.
אווטרים צילום ריאליסטיים
טכניקות מתקדמות בעיבוד עצבי יכולות גם לסלול את הדרך לאוואטרים דיגיטליים מציאותיים יותר. אווטרים אלה יכולים לשמש לתפקידים שונים כגון עוזרים וירטואליים או שירות לקוחות, או כדרך למשתמשים להכניס את הדמיון שלהם ב- משחק וידאו או רינדור מדומה.
לדוגמה, מאמר שפורסם במרץ 2023 מציע להשתמש בטכניקות עיבוד עצבי כדי ליצור אווטאר פוטומי-ריאליסטי לאחר כמה דקות של צילומי וידאו.
סיכום
רינדור עצבי הוא תחום מחקר מרגש שיש לו פוטנציאל לשנות את כל תעשיית הגרפיקה הממוחשבת.
הטכנולוגיה יכולה להוריד את מחסום הכניסה ליצירת נכסי תלת מימד. ייתכן שצוותי אפקטים חזותיים כבר לא יצטרכו להמתין ימים כדי להציג כמה דקות של גרפיקה צילום מציאותית.
שילוב הטכנולוגיה עם יישומי VR ו-AR קיימים עשוי גם לאפשר למפתחים ליצור חוויות סוחפות יותר.
מהו לדעתך הפוטנציאל האמיתי לעיבוד עצבי?
השאירו תגובה