차례[숨다][보여 주다]
NVIDIA의 Instant NeRF 신경 렌더링 모델을 사용하면 3D 데이터 입력으로 2D 장면을 몇 초 만에 생성할 수 있고 해당 장면의 사진을 밀리초 만에 렌더링할 수 있다는 사실을 알고 계셨습니까?
역 렌더링이라는 기술을 사용하여 정지 사진 모음을 디지털 3D 환경으로 빠르게 변환할 수 있습니다. 이를 통해 AI는 실제 세계에서 빛이 작동하는 방식을 모방할 수 있습니다.
이는 NVIDIA 연구팀이 개발한 기술 덕분에 초고속 신경망 훈련과 빠른 렌더링을 결합할 수 있는 최초의 모델 중 하나로, 거의 즉각적으로 작업을 믿을 수 없을 정도로 빠르게 완료합니다.
이 기사에서는 속도, 사용 사례 및 기타 요소를 포함하여 NVIDIA의 NeRF를 심층적으로 검토합니다.
그래서, 무엇입니까 NeRF?
NeRF는 Neural radiance Fields의 약자로, 적은 수의 입력 뷰를 사용하여 기본 연속 체적 장면 기능을 정제하여 복잡한 장면의 고유한 뷰를 생성하는 기술을 나타냅니다.
입력으로 2D 사진 모음이 주어지면 NVIDIA의 NeRF는 다음을 사용합니다. 신경망 3D 장면을 표현하고 생성합니다.
주변의 다양한 각도에서 적은 수의 사진이 필요합니다. 신경망, 각 프레임에서 카메라의 위치와 함께.
특히 움직이는 배우나 물체가 있는 장면에서는 이러한 사진을 빨리 찍을수록 더 좋습니다.
3D 사진 촬영 과정에서 움직임이 너무 많으면 AI가 생성한 2D 장면이 번집니다.
NeRF는 3D 환경의 모든 위치에서 모든 방향으로 발산되는 빛의 색상을 예측하여 이 데이터가 남긴 간격을 효과적으로 채워 전체 이미지를 구성합니다.
NeRF는 적절한 입력을 받은 후 몇 밀리초 안에 3D 장면을 생성할 수 있기 때문에 현재까지 가장 빠른 NeRF 접근 방식입니다.
NeRF는 매우 빠르게 작동하여 거의 즉각적이어서 이름이 붙었습니다. 다각형 메쉬와 같은 표준 3D 표현이 벡터 그림인 경우 NeRF는 비트맵 이미지입니다. 즉, 물체나 장면 내부에서 빛이 발산되는 방식을 조밀하게 캡처합니다.
즉각적인 NeRF 디지털 카메라와 JPEG 압축이 3D 사진에 있어 2D에 필수적이기 때문에 3D 캡처 및 공유의 속도, 편의성 및 도달 범위가 크게 향상되었습니다.
Instant NeRF는 가상 세계의 아바타 또는 전체 풍경을 생성하는 데 사용할 수 있습니다.
초기 폴라로이드 사진에 경의를 표하기 위해 NVIDIA 연구팀은 Instant NeRF를 사용하여 Andy Warhol이 즉석 사진을 찍는 유명한 장면을 재현하고 이를 3D 장면으로 변환했습니다.
정말 1,000배 빠른가요?
3D 장면은 복잡성과 품질에 따라 NeRF 이전에 생성하는 데 몇 시간이 걸릴 수 있습니다.
AI는 프로세스 속도를 크게 높였지만 제대로 훈련하는 데 몇 시간이 걸릴 수 있습니다. NVIDIA가 개척한 다중 해상도 해시 인코딩이라는 방법을 사용하여 Instant NeRF는 렌더링 시간을 1,000배 단축합니다.
Tiny CUDA Neural Networks 패키지와 NVIDIA CUDA Toolkit을 사용하여 모델을 생성했습니다. NVIDIA에 따르면 NVIDIA Tensor Core 카드는 가장 빠른 속도로 작동하는 경량 신경망이기 때문에 단일 NVIDIA GPU에서 훈련 및 사용할 수 있습니다.
적용 사례
자율주행 자동차는 이 기술의 가장 중요한 응용 프로그램 중 하나입니다. 이 차량은 주로 이동하면서 주변 환경을 상상하여 작동합니다.
그러나 오늘날 기술의 문제점은 서투른 데다 시간이 너무 오래 걸린다는 점이다.
그러나 Instant NeRF를 사용하면 자율 주행 자동차가 실제 물체의 크기와 모양을 대략/이해하기 위해 필요한 것은 정지 사진을 캡처하고 3D로 변환한 다음 해당 정보를 사용하는 것입니다.
메타버스에는 여전히 다른 용도가 있을 수 있습니다. 비디오 게임 생산 산업.
Instant NeRF를 사용하면 아바타 또는 전체 가상 세계를 빠르게 구축할 수 있기 때문에 이것이 사실입니다.
거의 3D 캐릭터 신경망을 실행하기만 하면 캐릭터가 생성되기 때문에 모델링이 필요합니다.
또한 NVIDIA는 추가 기계 학습 관련 응용 프로그램에 이 기술을 적용하는 방법을 계속 모색하고 있습니다.
예를 들어, 이전보다 더 정확하게 언어를 번역하고 범용성을 향상시키는 데 사용될 수 있습니다. 깊은 학습 이제 더 넓은 범위의 작업에 사용되는 알고리즘입니다.
결론
많은 그래픽 문제는 문제의 부드러움 또는 희소성을 활용하기 위해 작업별 데이터 구조에 의존합니다.
NVIDIA의 다중 해상도 해시 인코딩이 제공하는 실용적인 학습 기반 대안은 워크로드에 관계없이 관련 세부 사항에 자동으로 집중합니다.
내부 작동 방식에 대해 자세히 알아보려면 공식 GitHub의 저장소.
댓글을 남겨주세요.