สารบัญ[ซ่อน][แสดง]
คุณทราบหรือไม่ว่าฉาก 3D สามารถสร้างจากอินพุตข้อมูล 2D ได้ในไม่กี่วินาทีด้วยโมเดลการเรนเดอร์ NeRF Neural ทันทีของ NVIDIA และภาพถ่ายของฉากนั้นสามารถแสดงเป็นมิลลิวินาทีได้?
สามารถเปลี่ยนคอลเลกชั่นภาพนิ่งให้เป็นสภาพแวดล้อมดิจิทัล 3 มิติได้อย่างรวดเร็วโดยใช้เทคนิคที่เรียกว่าการเรนเดอร์ผกผัน ซึ่งช่วยให้ AI สามารถเลียนแบบการทำงานของแสงในโลกจริงได้
เป็นหนึ่งในรุ่นแรกของประเภทที่สามารถรวมการฝึกอบรมเครือข่ายนิวรัลที่รวดเร็วและการเรนเดอร์ที่รวดเร็ว ต้องขอบคุณเทคนิคที่ทีมวิจัยของ NVIDIA คิดค้นขึ้นเพื่อให้การดำเนินการเสร็จสิ้นอย่างรวดเร็วอย่างไม่น่าเชื่อ – เกือบจะในทันที
บทความนี้จะตรวจสอบอย่างละเอียดเกี่ยวกับ NeRF ของ NVIDIA รวมถึงความเร็ว กรณีใช้งาน และปัจจัยอื่นๆ
ดังนั้นคืออะไร เนอาร์เอฟ?
NeRF ย่อมาจาก Neural Radiance Field ซึ่งหมายถึงเทคนิคในการสร้างมุมมองที่ไม่ซ้ำกันของฉากที่ซับซ้อนโดยการปรับแต่งฟังก์ชันฉากเชิงปริมาตรต่อเนื่องที่อยู่ภายใต้โดยใช้มุมมองอินพุตจำนวนน้อย
เมื่อได้รับคอลเลกชันภาพถ่าย 2D เป็นอินพุต NeRF ของ NVIDIA จะจ้าง เครือข่ายประสาทเทียม เพื่อแสดงและสร้างฉาก 3 มิติ
ต้องใช้ภาพถ่ายจำนวนเล็กน้อยจากมุมต่างๆ รอบบริเวณนี้เพื่อ เครือข่ายประสาทร่วมกับตำแหน่งของกล้องในแต่ละเฟรม
ยิ่งถ่ายภาพเหล่านี้ได้เร็วเท่าไหร่ ยิ่งดี โดยเฉพาะในฉากที่มีนักแสดงหรือวัตถุเคลื่อนไหว
ฉาก 3D ที่สร้างโดย AI จะเกิดรอยเปื้อนหากมีการเคลื่อนไหวมากเกินไปในระหว่างขั้นตอนการจับภาพ 2D
ด้วยการคาดคะเนสีของแสงที่เล็ดลอดออกมาในทุกทิศทางจากตำแหน่งใดๆ ในสภาพแวดล้อม 3 มิติ NeRF จะเติมช่องว่างที่เหลือโดยข้อมูลนี้อย่างมีประสิทธิภาพเพื่อสร้างภาพทั้งหมด
เนื่องจาก NeRF สามารถสร้างฉาก 3 มิติได้ภายในไม่กี่วินาทีหลังจากได้รับอินพุตที่เหมาะสม จึงเป็นแนวทาง NeRF ที่เร็วที่สุดในปัจจุบัน
NeRF ทำงานอย่างรวดเร็วจนแทบจะเกิดขึ้นทันที จึงเป็นที่มาของชื่อ หากการแสดงภาพ 3 มิติมาตรฐาน เช่น ตาข่ายโพลิกอนเป็นภาพเวกเตอร์ NeRFs จะเป็นภาพบิตแมป: พวกมันจะจับภาพวิธีที่แสงเล็ดลอดออกมาจากวัตถุหรือภายในฉากได้อย่างหนาแน่น
ทันที NeRF เป็นสิ่งจำเป็นสำหรับ 3D เนื่องจากกล้องดิจิตอลและการบีบอัด JPEG เป็นการถ่ายภาพ 2D ซึ่งช่วยเพิ่มความเร็ว ความสะดวก และการเข้าถึงของการจับภาพและการแชร์ 3D ได้อย่างมาก
สามารถใช้ Instant NeRF เพื่อสร้างภาพแทนตัวหรือแม้แต่ฉากทั้งหมดสำหรับโลกเสมือนจริง
เพื่อเป็นการแสดงความเคารพต่อภาพถ่ายโพลารอยด์ในยุคแรกๆ ทีมวิจัยของ NVIDIA ได้สร้างช็อตที่มีชื่อเสียงของ Andy Warhol ที่ถ่ายภาพทันใจและแปลงเป็นฉาก 3 มิติโดยใช้ Instant NeRF
เร็วกว่า 1,000 เท่าจริงหรือ?
ฉาก 3 มิติอาจใช้เวลาหลายชั่วโมงในการสร้างก่อน NeRF ทั้งนี้ขึ้นอยู่กับความซับซ้อนและคุณภาพของฉาก
AI เร่งกระบวนการอย่างมาก แต่ก็ยังต้องใช้เวลาหลายชั่วโมงในการฝึกอบรมอย่างเหมาะสม การใช้วิธีการที่เรียกว่าการเข้ารหัสแฮชแบบหลายความละเอียดซึ่งบุกเบิกโดย NVIDIA ทำให้ Instant NeRF ช่วยลดเวลาในการแสดงผลได้ 1,000 เท่า
ใช้แพ็คเกจ Tiny CUDA Neural Networks และ NVIDIA CUDA Toolkit เพื่อสร้างแบบจำลอง ตามข้อมูลของ NVIDIA เนื่องจากเป็นโครงข่ายประสาทเทียมที่มีน้ำหนักเบา จึงสามารถฝึกฝนและใช้งานบน NVIDIA GPU ตัวเดียวได้ โดยที่การ์ด NVIDIA Tensor Core จะทำงานด้วยความเร็วที่เร็วที่สุด
ใช้กรณี
รถยนต์ที่ขับเคลื่อนด้วยตนเองเป็นหนึ่งในการใช้งานที่สำคัญที่สุดของเทคโนโลยีนี้ ยานพาหนะเหล่านี้ส่วนใหญ่ทำงานโดยจินตนาการถึงสภาพแวดล้อมขณะเดินทาง
อย่างไรก็ตาม ปัญหาของเทคโนโลยีในปัจจุบันคือมันงุ่มง่ามและใช้เวลานานไปหน่อย
อย่างไรก็ตาม การใช้ Instant NeRF นั้น สิ่งที่จำเป็นสำหรับรถยนต์ที่ขับเคลื่อนด้วยตนเองในการประมาณ/ทำความเข้าใจขนาดและรูปร่างของวัตถุในโลกแห่งความเป็นจริงก็คือการถ่ายภาพนิ่ง เปลี่ยนเป็น 3 มิติ แล้วใช้ข้อมูลนั้น
ยังคงมีการใช้งานอื่นใน metaverse หรือ วิดีโอเกม อุตสาหกรรมการผลิต
เนื่องจาก Instant NeRF ช่วยให้คุณสร้างอวาตาร์หรือแม้แต่โลกเสมือนจริงทั้งหมดได้อย่างรวดเร็ว นี่จึงเป็นเรื่องจริง
เกือบน้อย ตัวละคร 3 มิติ จำเป็นต้องมีการสร้างแบบจำลองเนื่องจากทั้งหมดที่คุณต้องทำคือเรียกใช้โครงข่ายประสาทเทียม และจะสร้างอักขระให้คุณ
นอกจากนี้ NVIDIA ยังคงสำรวจการนำเทคโนโลยีนี้ไปใช้กับแอปพลิเคชันที่เกี่ยวข้องกับการเรียนรู้ของเครื่องเพิ่มเติม
ตัวอย่างเช่น อาจใช้แปลภาษาได้แม่นยำกว่าเดิมและช่วยเสริมวัตถุประสงค์ทั่วไป การเรียนรู้ลึก ๆ อัลกอริทึมที่ใช้สำหรับงานที่หลากหลายขึ้นในขณะนี้
สรุป
ปัญหาด้านกราฟิกจำนวนมากอาศัยโครงสร้างข้อมูลเฉพาะงานเพื่อใช้ประโยชน์จากความเรียบหรือความบางของปัญหา
ทางเลือกที่อิงตามการเรียนรู้ในทางปฏิบัติที่นำเสนอโดยการเข้ารหัสแฮชแบบหลายความละเอียดของ NVIDIA จะเน้นไปที่รายละเอียดที่เกี่ยวข้องโดยอัตโนมัติ โดยไม่คำนึงถึงปริมาณงาน
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการทำงานของสิ่งต่าง ๆ ภายใน โปรดดูที่ Official GitHub กรุ
เขียนความเห็น