目錄[隱藏][顯示]
嘿,您知道嗎,使用 NVIDIA 的 Instant NeRF 神經渲染模型可以在幾秒鐘內從 3D 數據輸入創建 2D 場景,並且可以在幾毫秒內渲染該場景的照片?
可以使用稱為逆向渲染的技術將一組靜態照片快速轉換為數字 3D 環境,這使 AI 能夠模仿光在現實世界中的工作方式。
由於 NVIDIA 研究團隊設計的一項技術能夠以極快的速度(幾乎是瞬間)完成操作,它是同類產品中首批可以結合超快速神經網絡訓練和快速渲染的模型之一。
本文將深入研究 NVIDIA 的 NeRF,包括其速度、用例和其他因素。
那是什麼呢 神經RF?
NeRF 代表神經輻射場,它指的是一種通過使用少量輸入視圖細化底層連續體積場景函數來創建複雜場景的獨特視圖的技術。
當給定一組 2D 照片作為輸入時,NVIDIA 的 NeRF 採用 神經網絡 表示和生成 3D 場景。
需要從該區域周圍的各個角度拍攝少量照片 神經網絡,以及每幀中相機的位置。
這些照片越早拍攝越好,尤其是在演員或物體移動的場景中。
如果在 3D 圖片捕獲過程中運動過多,AI 生成的 2D 場景將被弄髒。
通過預測從 3D 環境中任何位置向各個方向發出的光的顏色,NeRF 有效地填補了這些數據留下的空白以構建整個圖像。
由於 NeRF 可以在接收到正確輸入後的幾毫秒內生成 3D 場景,因此它是迄今為止最快的 NeRF 方法。
NeRF 工作得如此之快以至於它幾乎是瞬時的,因此得名。 如果像多邊形網格這樣的標準 3D 表示是矢量圖片,那麼 NeRF 就是位圖圖像:它們密集地捕捉光線從物體或場景內部發出的方式。
即時神經射頻 對 3D 來說是必不可少的,因為數碼相機和 JPEG 壓縮對於 2D 攝影來說是必不可少的,極大地提高了 3D 捕獲和共享的速度、便利性和覆蓋範圍。
Instant NeRF 可用於製作虛擬世界的化身甚至整個場景。
為了向早期的寶麗來照片致敬,NVIDIA 研究團隊重現了安迪沃霍爾拍攝即時照片的著名鏡頭,並使用 Instant NeRF 將其轉換為 3D 場景。
真的快1,000倍嗎?
在 NeRF 之前創建 3D 場景可能需要數小時,這取決於其複雜性和質量。
人工智能大大加快了這個過程,但仍然需要幾個小時才能正確訓練。 Instant NeRF 使用由 NVIDIA 首創的稱為多分辨率哈希編碼的方法,將渲染時間縮短了 1,000 倍。
Tiny CUDA 神經網絡包和 NVIDIA CUDA 工具包用於創建模型。 根據 NVIDIA 的說法,因為它是一個輕量級的神經網絡,它可以在單個 NVIDIA GPU 上進行訓練和使用,NVIDIA Tensor Core 卡以最快的速度運行。
用例
自動駕駛汽車是這項技術最重要的應用之一。 這些車輛在很大程度上通過在行駛時想像周圍的環境來運行。
然而,當今技術的問題在於它很笨拙,而且需要的時間太長。
然而,使用 Instant NeRF,自動駕駛汽車要近似/了解現實世界物體的大小和形狀所需要做的就是捕捉靜止照片,將它們轉換為 3D,然後使用該信息。
元節中可能還有其他用途,或者 視頻遊戲 生產行業。
因為 Instant NeRF 允許您快速構建化身甚至整個虛擬世界,所以這是真的。
幾乎很少 3D角色 建模是必需的,因為你需要做的就是運行神經網絡,它會為你生成一個角色。
此外,NVIDIA 仍在探索將這項技術應用於其他與機器學習相關的應用程序。
例如,它可用於比以前更準確地翻譯語言並增強通用性 深入學習 算法現在用於更廣泛的任務。
結論
許多圖形問題依賴於特定於任務的數據結構來利用問題的平滑性或稀疏性。
NVIDIA 的多分辨率哈希編碼提供的實用的基於學習的替代方案會自動專注於相關的細節,而不管工作量如何。
要了解有關內部運作方式的更多信息,請查看官方 GitHub上 庫。
發表評論