神經渲染是深度學習中的一項新興技術,旨在通過神經網絡增強計算機圖形學的經典管道。
神經渲染算法需要一組代表同一場景不同角度的圖像。 然後,這些圖像將被輸入神經網絡,以創建一個模型,該模型可以輸出同一場景的新角度。
神經渲染背後的卓越之處在於它如何能夠準確地重建詳細的逼真場景,而不必依賴可能對計算要求更高的經典方法。
在深入了解神經渲染的工作原理之前,讓我們先回顧一下經典渲染的基礎知識。
什麼是經典渲染?
我們先了解一下經典渲染中使用的典型方法。
經典渲染是指用於創建三維場景的二維圖像的一組技術。 也稱為圖像合成,經典渲染使用各種算法來模擬光如何與不同類型的對象交互。
例如,渲染一塊實心磚需要一組特定的算法來確定陰影的位置或牆壁兩側的光照情況。 同樣,反射或折射光線的物體,如鏡子、閃亮的物體或水體,也需要自己的技術。
在經典渲染中,每個資產都用多邊形網格表示。 然後著色器程序將使用多邊形作為輸入來確定對像在給定指定光照和角度的情況下的外觀。
逼真的渲染將需要更多的計算能力,因為我們的資產最終有數百萬個多邊形用作輸入。 好萊塢大片中常見的計算機生成輸出通常需要數週甚至數月的渲染時間,並且可能耗資數百萬美元。
光線追踪方法的成本特別高,因為最終圖像中的每個像素都需要計算光從光源到物體再到相機的路徑。
硬件的進步使用戶更容易進行圖形渲染。 例如,許多最新的 視頻遊戲 允許光線追踪效果,例如照片般逼真的反射和陰影,只要它們的硬件能夠勝任任務。
最新的 GPU(圖形處理單元)專門用於幫助 CPU 處理渲染逼真圖形所需的高度複雜的計算。
神經渲染的興起
神經渲染試圖以不同的方式解決渲染問題。 如果我們不使用算法來模擬光如何與物體相互作用,而是創建一個模型來學習場景從某個角度應該如何看會怎樣?
您可以將其視為創建逼真的場景的捷徑。 使用神經渲染,我們不需要計算光如何與物體相互作用,我們只需要足夠的訓練數據。
這種方法允許研究人員創建複雜場景的高質量渲染,而無需執行
什麼是神經場?
如前所述,大多數 3D 渲染使用多邊形網格來存儲有關每個對象的形狀和紋理的數據。
然而,神經場作為表示三維對象的替代方法越來越受歡迎。 與多邊形網格不同,神經場是可微且連續的。
當我們說神經場是可微的時,我們是什麼意思?
現在可以通過簡單地調整神經網絡的權重來訓練來自神經場的 2D 輸出,使其變得逼真。
使用神經場,我們不再需要模擬光的物理特性來渲染場景。 關於最終渲染將如何點亮的知識現在隱式存儲在我們的權重中 神經網絡.
這使我們能夠從少量照片或視頻片段中相對快速地創建新穎的圖像和視頻。
如何訓練神經場?
現在我們了解了神經場如何工作的基礎知識,讓我們來看看研究人員如何能夠訓練神經輻射場或 神經RF.
首先,我們需要對場景的隨機坐標進行採樣並將它們輸入神經網絡。 然後該網絡將能夠產生現場數量。
產生的場量被認為是來自我們要創建的場景的所需重建域的樣本。
然後我們需要將重建映射到實際的 2D 圖像。 然後算法將計算重建誤差。 該錯誤將引導神經網絡優化其重建場景的能力。
神經渲染的應用
新穎的視圖合成
新穎的視圖合成是指使用來自有限數量的視角的數據從新角度創建相機視角的任務。
神經渲染技術嘗試猜測相機在數據集中每個圖像的相對位置,並將該數據輸入神經網絡。
然後神經網絡將創建場景的 3D 表示,其中 3D 空間中的每個點都有關聯的顏色和密度。
NeRFs 的新實現 谷歌街景 使用新穎的視圖合成,讓用戶可以探索真實世界的位置,就像他們正在控制拍攝視頻的相機一樣。 這允許遊客在決定前往特定地點之前以身臨其境的方式探索目的地。
逼真的頭像
神經渲染中的先進技術也可以為更逼真的數字化身鋪平道路。 然後,這些化身可以用於各種角色,例如虛擬助理或客戶服務,或者作為用戶將自己的肖像插入到 視頻遊戲 或模擬渲染。
例如,一個 紙 發表於 2023 年 XNUMX 月的論文建議使用神經渲染技術在幾分鐘的視頻片段後創建逼真的頭像。
結論
神經渲染是一個令人興奮的研究領域,有可能改變整個計算機圖形行業。
該技術可以降低創建 3D 資產的准入門檻。 視覺效果團隊可能不再需要等待數天才能渲染幾分鐘的逼真圖形。
將該技術與現有的 VR 和 AR 應用相結合還可以讓開發人員創造出更加身臨其境的體驗。
您認為神經渲染的真正潛力是什麼?
發表評論