תוכן העניינים[להתחבא][הופעה]
היי, האם ידעת שניתן ליצור סצנה תלת-ממדית מכניסות נתונים דו-ממדיות תוך שניות עם מודל העיבוד העצבי המיידי של NVIDIA של NVIDIA, וניתן לצלם תמונות של הסצנה הזו באלפיות שניות?
אפשר להמיר במהירות אוסף של צילומי סטילס לסביבת תלת מימד דיגיטלית באמצעות הטכניקה המכונה עיבוד הפוך, המאפשרת AI לחקות את אופן פעולת האור בעולם האמיתי.
זהו אחד הדגמים הראשונים מסוגו שיכולים לשלב אימון רשתות עצביות מהיר במיוחד ורינדור מהיר, הודות לטכניקה שצוות המחקר של NVIDIA הגה שמשלימה את הפעולה במהירות להפליא - כמעט באופן מיידי.
מאמר זה יבחן את NeRF של NVIDIA לעומק, כולל המהירות שלו, מקרי שימוש וגורמים נוספים.
אז מה זה NeRF?
NeRF מייצג שדות קרינה עצביים, המתייחס לטכניקה ליצירת תצוגות ייחודיות של סצנות מסובכות על ידי חידוד פונקציית סצנה נפחית רציפה הבסיסית תוך שימוש במספר קטן של תצוגות קלט.
כאשר מקבלים אוסף של תמונות דו-ממדיות כקלט, מכשירי NeRF של NVIDIA משתמשים רשתות עצביות לייצג וליצור סצנות תלת מימדיות.
יש צורך במספר קטן של תמונות מזוויות שונות באזור רשת עצבית, יחד עם מיקום המצלמה בכל פריים.
ככל שתמונות אלו יצולמו מוקדם יותר, כך ייטב, במיוחד בסצנות עם שחקנים או חפצים נעים.
סצנת התלת-ממד שנוצרת בינה מלאכותית תהיה כתומה אם תהיה תנועה רבה מדי במהלך הליך לכידת התמונה הדו-ממדית.
על ידי חיזוי צבע האור הבוקע לכל כיוון מכל מקום בסביבת התלת-ממד, ה-Nerf משלים ביעילות את הפערים שהותירו נתונים אלה כדי לבנות את התמונה כולה.
מכיוון ש-Nerf יכול ליצור סצינה תלת-ממדית תוך כמה אלפיות שניות לאחר קבלת הקלט הראוי, זוהי גישת NeRF המהירה ביותר עד כה.
NeRF עובד כל כך מהר שהוא כמעט מיידי, ומכאן שמו. אם ייצוגים תלת מימדיים סטנדרטיים כמו רשתות מצולעים הם תמונות וקטוריות, NeRFs הם תמונות מפת סיביות: הם לוכדים בצפיפות את הדרך שבה האור בוקע מאובייקט או בתוך סצנה.
NeRF מיידי חיוני לתלת-ממד מכיוון שמצלמות דיגיטליות ודחיסת JPEG היו לצילום דו-ממדי, מה שמשפר באופן דרמטי את המהירות, הנוחות והטווח של צילום ושיתוף בתלת-ממד.
ניתן להשתמש ב-Nerf מיידי לייצור אווטרים או אפילו נופים שלמים לעולמות וירטואליים.
כדי לתת כבוד לימים הראשונים של צילומי פולארויד, צוות המחקר של NVIDIA שיחזר צילום מפורסם של אנדי וורהול מצלם תמונה מיידית והמיר אותו לסצינת תלת מימד באמצעות NeRF מיידי.
האם זה באמת מהיר פי 1,000?
סצנה תלת מימדית עשויה לקחת שעות לפני NeRF, בהתאם למורכבותה ואיכותה.
בינה מלאכותית האיצה מאוד את התהליך, אבל זה עדיין יכול לקחת שעות להתאמן כראוי. באמצעות שיטה הנקראת קידוד גיבוב רב-רזולוציה, החלוץ על ידי NVIDIA, NeRF מיידי מפחית את זמני הרינדור בפקטור של 1,000.
חבילת Tiny CUDA Neural Networks ו-NVIDIA CUDA Toolkit שימשו ליצירת המודל. לפי NVIDIA, מכיוון שזו רשת עצבית קלת משקל, ניתן לאמן אותה ולהשתמש בה על NVIDIA GPU יחיד, כאשר כרטיסי NVIDIA Tensor Core פועלים במהירויות המהירות ביותר.
השתמש מקרה
מכוניות בנהיגה עצמית הם אחד מהיישומים המשמעותיים ביותר של טכנולוגיה זו. כלי רכב אלה פועלים במידה רבה על ידי דימיון סביבתם תוך כדי נסיעה.
עם זאת, הבעיה עם הטכנולוגיה של היום היא שהיא מגושמת ולוקחת קצת יותר מדי זמן.
עם זאת, באמצעות Instant NeRF, כל מה שנדרש למכונית בנהיגה עצמית כדי להעריך/להבין את הגודל והצורה של אובייקטים בעולם האמיתי הוא ללכוד צילומי סטילס, להפוך אותם לתלת מימד ואז להשתמש במידע הזה.
עדיין יכול להיות שימוש נוסף ב-metaverse או משחק וידאו תעשיות ייצור.
בגלל NeRF מיידי מאפשר לך לבנות אווטרים או אפילו עולמות וירטואליים שלמים במהירות, זה נכון.
כמעט מעט דמות תלת ממדית יידרשו מודלים מכיוון שכל מה שתצטרכו לעשות הוא להפעיל את הרשת העצבית, והיא תיצור עבורכם דמות.
בנוסף, NVIDIA עדיין בוחנת את יישום הטכנולוגיה הזו עבור יישומים נוספים הקשורים ללימוד מכונה.
לדוגמה, ניתן להשתמש בו כדי לתרגם שפות בצורה מדויקת יותר מבעבר ולשפר את המטרה הכללית למידה עמוקה אלגוריתמים הנמצאים כעת בשימוש עבור מגוון רחב יותר של משימות.
סיכום
בעיות גרפיקה רבות מסתמכות על מבני נתונים ספציפיים למשימה כדי לעשות שימוש בחלקות או דלילות הבעיה.
החלופה המעשית מבוססת למידה שמציעה קידוד הגיבוב מרובי הרזולוציות של NVIDIA מתרכזת באופן אוטומטי בפרטים רלוונטיים, ללא קשר לעומס העבודה.
כדי ללמוד עוד על איך הדברים פועלים בפנים, בדוק את הרשמי GitHub מאגר.
השאירו תגובה