การแสดงผลประสาทเป็นเทคนิคที่เกิดขึ้นใหม่ในการเรียนรู้เชิงลึกที่มีจุดมุ่งหมายเพื่อเพิ่มไปป์ไลน์แบบคลาสสิกของคอมพิวเตอร์กราฟิกด้วยโครงข่ายประสาทเทียม
อัลกอริธึมการเรนเดอร์ประสาทจะต้องใช้ชุดภาพที่เป็นตัวแทนของมุมต่างๆ ของฉากเดียวกัน จากนั้นภาพเหล่านี้จะถูกป้อนเข้าสู่โครงข่ายประสาทเทียมเพื่อสร้างแบบจำลองที่สามารถแสดงมุมใหม่ๆ ของฉากเดียวกันได้
ความฉลาดเบื้องหลังการเรนเดอร์ประสาทนั้นอยู่ที่ว่ามันสามารถสร้างฉากภาพถ่ายเสมือนจริงที่มีรายละเอียดได้อย่างแม่นยำโดยไม่ต้องพึ่งพาวิธีการแบบดั้งเดิมที่อาจต้องใช้การคำนวณมากกว่า
ก่อนที่จะลงลึกถึงวิธีการทำงานของการเรนเดอร์ประสาท เรามาดูพื้นฐานของการเรนเดอร์แบบคลาสสิกกันก่อน
การแสดงผลแบบคลาสสิกคืออะไร?
ก่อนอื่นมาทำความเข้าใจกับวิธีการทั่วไปที่ใช้ในการเรนเดอร์แบบดั้งเดิม
การเรนเดอร์แบบคลาสสิกหมายถึงชุดของเทคนิคที่ใช้สร้างภาพ 2 มิติของฉากสามมิติ หรือที่เรียกว่าการสังเคราะห์ภาพ การเรนเดอร์แบบคลาสสิกใช้อัลกอริธึมต่างๆ เพื่อจำลองว่าแสงมีปฏิสัมพันธ์กับวัตถุประเภทต่างๆ อย่างไร
ตัวอย่างเช่น การเรนเดอร์อิฐทึบจะต้องใช้ชุดอัลกอริธึมเฉพาะเพื่อกำหนดตำแหน่งของเงาหรือความสว่างของผนังด้านใดด้านหนึ่ง ในทำนองเดียวกัน วัตถุที่สะท้อนหรือหักเหแสง เช่น กระจก วัตถุแวววาว หรือเนื้อน้ำ ก็ต้องใช้เทคนิคของตนเองเช่นกัน
ในการแสดงผลแบบคลาสสิก เนื้อหาแต่ละรายการจะแสดงด้วยตาข่ายรูปหลายเหลี่ยม จากนั้นโปรแกรม shader จะใช้รูปหลายเหลี่ยมเป็นอินพุตเพื่อกำหนดว่าวัตถุจะมีลักษณะอย่างไรเมื่อได้รับแสงและมุมที่กำหนด
การเรนเดอร์ที่สมจริงจะต้องใช้พลังในการคำนวณมากขึ้น เนื่องจากเนื้อหาของเรามีรูปหลายเหลี่ยมนับล้านเพื่อใช้เป็นอินพุต เอาต์พุตที่สร้างจากคอมพิวเตอร์ซึ่งพบได้ทั่วไปในภาพยนตร์ฟอร์มยักษ์ของฮอลลีวูดมักใช้เวลาหลายสัปดาห์หรือหลายเดือนในการแสดงผล และอาจมีราคาหลายล้านดอลลาร์
วิธีการติดตามรังสีนั้นมีค่าใช้จ่ายสูงเป็นพิเศษ เนื่องจากแต่ละพิกเซลในภาพสุดท้ายต้องมีการคำนวณเส้นทางแสงที่ใช้จากแหล่งกำเนิดแสงไปยังวัตถุและไปยังกล้อง
ความก้าวหน้าของฮาร์ดแวร์ทำให้ผู้ใช้สามารถเข้าถึงการเรนเดอร์กราฟิกได้มากขึ้น ตัวอย่างเช่นหลายล่าสุด วิดีโอเกม อนุญาตเอฟเฟกต์ ray-traced เช่น การสะท้อนและเงาที่เหมือนจริงของภาพถ่าย ตราบใดที่ฮาร์ดแวร์นั้นใช้งานได้
GPU รุ่นล่าสุด (หน่วยประมวลผลกราฟิก) สร้างขึ้นโดยเฉพาะเพื่อช่วยให้ CPU จัดการกับการคำนวณที่ซับซ้อนสูงที่จำเป็นในการแสดงกราฟิกที่เหมือนภาพถ่าย
การเพิ่มขึ้นของการแสดงผลทางประสาท
การเรนเดอร์ประสาทพยายามจัดการกับปัญหาการเรนเดอร์ด้วยวิธีที่ต่างออกไป แทนที่จะใช้อัลกอริธึมเพื่อจำลองว่าแสงมีปฏิสัมพันธ์กับวัตถุอย่างไร ถ้าเราสร้างแบบจำลองที่เรียนรู้ว่าฉากควรมีลักษณะอย่างไรจากมุมหนึ่ง
คุณสามารถคิดว่ามันเป็นทางลัดในการสร้างฉากที่เหมือนจริง ด้วยการเรนเดอร์ประสาท เราไม่จำเป็นต้องคำนวณว่าแสงโต้ตอบกับวัตถุอย่างไร เราแค่ต้องการข้อมูลการฝึกอบรมที่เพียงพอ
แนวทางนี้ช่วยให้นักวิจัยสร้างภาพเรนเดอร์คุณภาพสูงของฉากที่ซับซ้อนได้โดยไม่ต้องดำเนินการใดๆ
สนามประสาทคืออะไร?
ดังที่ได้กล่าวไว้ก่อนหน้านี้ การเรนเดอร์ 3D ส่วนใหญ่ใช้ตาข่ายรูปหลายเหลี่ยมเพื่อเก็บข้อมูลเกี่ยวกับรูปร่างและพื้นผิวของวัตถุแต่ละชิ้น
อย่างไรก็ตาม ฟิลด์นิวรัลกำลังได้รับความนิยมในฐานะวิธีทางเลือกในการแสดงวัตถุสามมิติ ซึ่งแตกต่างจากตาข่ายรูปหลายเหลี่ยมตรงที่สนามประสาทสามารถแยกความแตกต่างได้และต่อเนื่อง
เราหมายความว่าอย่างไรเมื่อเราพูดว่าสนามประสาทสามารถหาอนุพันธ์ได้?
ตอนนี้ เอาต์พุต 2 มิติจากสนามประสาทเทียมสามารถฝึกฝนให้กลายเป็นภาพเหมือนจริงได้ โดยเพียงแค่ปรับน้ำหนักของโครงข่ายประสาทเทียม
เมื่อใช้สนามประสาท เราไม่จำเป็นต้องจำลองฟิสิกส์ของแสงเพื่อเรนเดอร์ฉากอีกต่อไป ความรู้ของการเรนเดอร์ขั้นสุดท้ายจะถูกทำให้สว่างได้อย่างไร ตอนนี้ถูกเก็บไว้โดยปริยายภายในน้ำหนักของเรา เครือข่ายประสาท.
ซึ่งช่วยให้เราสร้างภาพและวิดีโอแปลกใหม่ได้อย่างรวดเร็วจากภาพถ่ายหรือวิดีโอฟุตเทจเพียงไม่กี่ภาพ
วิธีการฝึกสนามประสาท?
ตอนนี้เรารู้พื้นฐานการทำงานของสนามประสาทแล้ว มาดูกันว่านักวิจัยสามารถฝึกสนามประสาทกระจ่างหรือ เนอาร์เอฟ.
ขั้นแรก เราจะต้องสุ่มตัวอย่างพิกัดของฉากและป้อนเข้าไปในโครงข่ายประสาทเทียม จากนั้นเครือข่ายนี้จะสามารถผลิตปริมาณภาคสนามได้
ปริมาณฟิลด์ที่ผลิตได้นั้นถือเป็นตัวอย่างจากโดเมนการสร้างใหม่ของฉากที่เราต้องการสร้าง
จากนั้นเราจะต้องแมปการสร้างใหม่กับภาพ 2 มิติจริง อัลกอริทึมจะคำนวณข้อผิดพลาดในการสร้างใหม่ ข้อผิดพลาดนี้จะแนะนำโครงข่ายประสาทเทียมเพื่อเพิ่มความสามารถในการสร้างฉากใหม่
การประยุกต์ใช้การแสดงผลทางประสาท
การสังเคราะห์มุมมองนวนิยาย
การสังเคราะห์มุมมองแบบใหม่หมายถึงงานในการสร้างมุมมองของกล้องจากมุมใหม่ๆ โดยใช้ข้อมูลจากจำนวนมุมมองที่จำกัด
เทคนิคการเรนเดอร์ประสาทพยายามเดาตำแหน่งสัมพัทธ์ของกล้องสำหรับแต่ละภาพในชุดข้อมูลและป้อนข้อมูลนั้นเข้าสู่โครงข่ายประสาทเทียม
จากนั้นโครงข่ายประสาทเทียมจะสร้างการแสดงภาพ 3 มิติของฉาก โดยที่แต่ละจุดในพื้นที่ 3 มิติจะมีสีและความหนาแน่นที่สัมพันธ์กัน
การนำ NeRF มาใช้ใหม่ใน ดู Google ถนน ใช้การสังเคราะห์มุมมองแบบใหม่เพื่อให้ผู้ใช้สามารถสำรวจสถานที่ในโลกแห่งความเป็นจริงราวกับว่าพวกเขากำลังควบคุมกล้องที่กำลังถ่ายวิดีโอ สิ่งนี้ทำให้นักท่องเที่ยวสามารถสำรวจจุดหมายปลายทางได้อย่างดื่มด่ำก่อนที่จะตัดสินใจเดินทางไปยังไซต์ใดไซต์หนึ่ง
อวตารเหมือนภาพถ่าย
เทคนิคขั้นสูงในการเรนเดอร์ประสาทสามารถปูทางไปสู่อวาตาร์ดิจิทัลที่สมจริงยิ่งขึ้น อวตารเหล่านี้สามารถใช้กับบทบาทต่างๆ เช่น ผู้ช่วยเสมือนหรือฝ่ายบริการลูกค้า หรือเป็นวิธีสำหรับผู้ใช้ในการใส่อุปมาอุปมัยลงใน วิดีโอเกม หรือเรนเดอร์จำลอง
ตัวอย่างเช่น กระดาษ เผยแพร่ในเดือนมีนาคม 2023 แนะนำให้ใช้เทคนิคการเรนเดอร์ประสาทเพื่อสร้างอวาตาร์ที่เหมือนภาพถ่ายหลังจากถ่ายวิดีโอไม่กี่นาที
สรุป
การเรนเดอร์ประสาทเป็นสาขาวิชาที่น่าตื่นเต้นซึ่งมีศักยภาพในการเปลี่ยนแปลงอุตสาหกรรมคอมพิวเตอร์กราฟิกทั้งหมด
เทคโนโลยีนี้สามารถลดอุปสรรคในการเข้าสู่การสร้างสินทรัพย์ 3 มิติได้ ทีมวิชวลเอฟเฟ็กต์อาจไม่ต้องรอหลายวันอีกต่อไปเพื่อเรนเดอร์กราฟิกที่เหมือนภาพถ่ายไม่กี่นาทีอีกต่อไป
การรวมเทคโนโลยีเข้ากับแอปพลิเคชัน VR และ AR ที่มีอยู่อาจช่วยให้นักพัฒนาสามารถสร้างประสบการณ์ที่สมจริงยิ่งขึ้น
คุณคิดว่าอะไรคือศักยภาพที่แท้จริงสำหรับการเรนเดอร์ประสาท?
เขียนความเห็น