目录[隐藏][展示]
嘿,您知道吗,使用 NVIDIA 的 Instant NeRF 神经渲染模型可以在几秒钟内从 3D 数据输入创建 2D 场景,并且可以在几毫秒内渲染该场景的照片?
可以使用称为逆向渲染的技术将一组静态照片快速转换为数字 3D 环境,这使 AI 能够模仿光在现实世界中的工作方式。
由于 NVIDIA 研究团队设计的一项技术能够以极快的速度(几乎是瞬间)完成操作,它是同类产品中首批可以结合超快速神经网络训练和快速渲染的模型之一。
本文将深入研究 NVIDIA 的 NeRF,包括其速度、用例和其他因素。
那么,什么是 神经RF?
NeRF 代表神经辐射场,它指的是一种通过使用少量输入视图细化底层连续体积场景函数来创建复杂场景的独特视图的技术。
当给定一组 2D 照片作为输入时,NVIDIA 的 NeRF 采用 神经网络 表示和生成 3D 场景。
需要从该区域周围的各个角度拍摄少量照片 神经网络,以及每帧中相机的位置。
这些照片越早拍摄越好,尤其是在演员或物体移动的场景中。
如果在 3D 图片捕获过程中运动过多,AI 生成的 2D 场景将被弄脏。
通过预测从 3D 环境中任何位置向各个方向发出的光的颜色,NeRF 有效地填补了这些数据留下的空白以构建整个图像。
由于 NeRF 可以在接收到正确输入后的几毫秒内生成 3D 场景,因此它是迄今为止最快的 NeRF 方法。
NeRF 工作得如此之快以至于它几乎是瞬时的,因此得名。 如果像多边形网格这样的标准 3D 表示是矢量图片,那么 NeRF 就是位图图像:它们密集地捕捉光线从物体或场景内部发出的方式。
即时神经射频 对 3D 来说是必不可少的,因为数码相机和 JPEG 压缩对于 2D 摄影来说是必不可少的,这极大地提高了 3D 捕获和共享的速度、便利性和覆盖范围。
Instant NeRF 可用于制作虚拟世界的化身甚至整个场景。
为了向早期的宝丽来照片致敬,NVIDIA 研究团队重现了安迪沃霍尔拍摄即时照片的著名镜头,并使用 Instant NeRF 将其转换为 3D 场景。
真的快1,000倍吗?
在 NeRF 之前创建 3D 场景可能需要数小时,这取决于其复杂性和质量。
人工智能大大加快了这个过程,但仍然需要几个小时才能正确训练。 Instant NeRF 使用由 NVIDIA 首创的称为多分辨率哈希编码的方法,将渲染时间减少了 1,000 倍。
Tiny CUDA 神经网络包和 NVIDIA CUDA 工具包用于创建模型。 根据 NVIDIA 的说法,因为它是一个轻量级的神经网络,它可以在单个 NVIDIA GPU 上进行训练和使用,NVIDIA Tensor Core 卡以最快的速度运行。
用例
自动驾驶汽车是这项技术最重要的应用之一。 这些车辆在很大程度上通过在行驶时想象周围的环境来运行。
然而,当今技术的问题在于它很笨拙,而且需要的时间太长。
然而,使用 Instant NeRF,自动驾驶汽车要近似/了解现实世界物体的大小和形状所需要做的就是捕捉静态照片,将它们转换为 3D,然后使用该信息。
元节中可能还有其他用途,或者 视频游戏 生产行业。
因为 Instant NeRF 允许您快速构建化身甚至整个虚拟世界,所以这是真的。
几乎很少 3D角色 建模是必需的,因为你需要做的就是运行神经网络,它会为你生成一个角色。
此外,NVIDIA 仍在探索将这项技术应用于其他与机器学习相关的应用程序。
例如,它可以用于比以前更准确地翻译语言并增强通用性 深入学习 算法现在用于更广泛的任务。
结论
许多图形问题依赖于特定于任务的数据结构来利用问题的平滑性或稀疏性。
NVIDIA 的多分辨率哈希编码提供的实用的基于学习的替代方案会自动专注于相关的细节,无论工作量如何。
要了解有关内部运作方式的更多信息,请查看官方 GitHub上 库。
发表评论