신경 렌더링은 신경망으로 컴퓨터 그래픽의 고전적인 파이프라인을 보강하는 것을 목표로 하는 딥 러닝의 새로운 기술입니다.
신경망 렌더링 알고리즘에는 동일한 장면의 서로 다른 각도를 나타내는 일련의 이미지가 필요합니다. 그런 다음 이러한 이미지는 신경망에 입력되어 동일한 장면의 새로운 각도를 출력할 수 있는 모델을 생성합니다.
신경망 렌더링의 탁월함은 계산이 더 많이 필요할 수 있는 고전적인 방법에 의존하지 않고도 세부적이고 사실적인 장면을 정확하게 재현할 수 있는 방법에 있습니다.
신경망 렌더링이 작동하는 방식에 대해 알아보기 전에 클래식 렌더링의 기본 사항을 살펴보겠습니다.
클래식 렌더링이란 무엇입니까?
먼저 클래식 렌더링에 사용되는 일반적인 방법을 이해해 봅시다.
클래식 렌더링은 2차원 장면의 XNUMXD 이미지를 만드는 데 사용되는 일련의 기술을 말합니다. 이미지 합성이라고도 하는 클래식 렌더링은 다양한 알고리즘을 사용하여 빛이 다양한 유형의 객체와 상호 작용하는 방식을 시뮬레이션합니다.
예를 들어, 단단한 벽돌을 렌더링하려면 그림자의 위치 또는 벽의 양쪽 측면이 얼마나 밝을지를 결정하기 위해 특정 알고리즘 세트가 필요합니다. 마찬가지로 거울, 반짝이는 물체 또는 물과 같이 빛을 반사하거나 굴절시키는 물체에도 고유한 기술이 필요합니다.
클래식 렌더링에서 각 자산은 다각형 메시로 표시됩니다. 셰이더 프로그램은 다각형을 입력으로 사용하여 지정된 조명과 각도에서 객체가 어떻게 보이는지 결정합니다.
사실적인 렌더링에는 자산이 입력으로 사용할 수백만 개의 다각형이 있기 때문에 훨씬 더 많은 계산 능력이 필요합니다. 일반적으로 할리우드 블록버스터에서 흔히 볼 수 있는 컴퓨터 생성 출력물을 렌더링하는 데는 일반적으로 몇 주 또는 몇 달이 걸리며 비용은 수백만 달러에 이릅니다.
레이 트레이싱 접근 방식은 최종 이미지의 각 픽셀이 광원에서 개체 및 카메라까지 빛이 취하는 경로를 계산해야 하기 때문에 특히 비용이 많이 듭니다.
하드웨어의 발전으로 사용자가 그래픽 렌더링에 훨씬 더 쉽게 접근할 수 있게 되었습니다. 예를 들어 최신의 많은 비디오 게임 하드웨어가 작업을 수행하는 한 사실적인 반사 및 그림자와 같은 광선 추적 효과를 허용합니다.
최신 GPU(그래픽 처리 장치)는 사실적인 그래픽을 렌더링하는 데 필요한 매우 복잡한 계산을 CPU가 처리할 수 있도록 특별히 제작되었습니다.
신경 렌더링의 부상
신경망 렌더링은 다른 방식으로 렌더링 문제를 해결하려고 시도합니다. 알고리즘을 사용하여 빛이 물체와 상호 작용하는 방식을 시뮬레이션하는 대신 장면이 특정 각도에서 어떻게 보여야 하는지 학습하는 모델을 만들면 어떨까요?
사실적인 장면을 만드는 지름길이라고 생각하시면 됩니다. 뉴럴 렌더링을 사용하면 빛이 객체와 상호 작용하는 방식을 계산할 필요가 없으며 충분한 훈련 데이터만 있으면 됩니다.
이 접근 방식을 통해 연구원은 수행할 필요 없이 복잡한 장면의 고품질 렌더링을 생성할 수 있습니다.
신경장이란 무엇입니까?
앞에서 언급했듯이 대부분의 3D 렌더링은 다각형 메쉬를 사용하여 각 개체의 모양과 질감에 대한 데이터를 저장합니다.
그러나 뉴럴 필드는 XNUMX차원 객체를 표현하는 대안적인 방법으로 인기를 얻고 있습니다. 폴리곤 메쉬와 달리 신경장은 미분 가능하고 연속적입니다.
신경장이 미분 가능하다고 말할 때 우리는 무엇을 의미합니까?
이제 신경망의 가중치를 조정하기만 하면 신경장의 2D 출력이 사진처럼 사실적이 되도록 훈련할 수 있습니다.
신경장을 사용하면 더 이상 장면을 렌더링하기 위해 빛의 물리학을 시뮬레이션할 필요가 없습니다. 최종 렌더링이 어떻게 켜지는지에 대한 지식은 이제 우리의 가중치 내부에 암묵적으로 저장됩니다. 신경망.
이를 통해 몇 장의 사진이나 비디오 영상에서 상대적으로 빠르게 새로운 이미지와 비디오를 만들 수 있습니다.
신경장 훈련 방법?
이제 우리는 신경장이 어떻게 작동하는지에 대한 기본 사항을 알았으므로 연구자들이 어떻게 신경 복사장을 훈련할 수 있는지 살펴보겠습니다. NeRF.
먼저 장면의 임의 좌표를 샘플링하여 신경망에 입력해야 합니다. 그러면 이 네트워크가 현장 수량을 생성할 수 있습니다.
생성된 필드 수량은 생성하려는 장면의 원하는 재구성 도메인에서 샘플로 간주됩니다.
그런 다음 재구성을 실제 2D 이미지로 매핑해야 합니다. 그러면 알고리즘이 재구성 오류를 계산합니다. 이 오류는 신경망이 장면을 재구성하는 능력을 최적화하도록 안내합니다.
신경 렌더링의 응용
소설보기 합성
새로운 뷰 합성은 제한된 수의 관점에서 데이터를 사용하여 새로운 각도에서 카메라 관점을 만드는 작업을 말합니다.
신경 렌더링 기술은 데이터 세트의 각 이미지에 대한 카메라의 상대적 위치를 추측하고 해당 데이터를 신경망에 공급하려고 합니다.
그런 다음 신경망은 3D 공간의 각 지점에 연관된 색상과 밀도가 있는 장면의 3D 표현을 생성합니다.
NeRF의 새로운 구현 구글 스트리트 뷰 (Street View) 새로운 보기 합성을 사용하여 사용자가 비디오를 촬영하는 카메라를 제어하는 것처럼 실제 위치를 탐색할 수 있습니다. 이를 통해 관광객은 특정 사이트로 여행하기로 결정하기 전에 몰입형 방식으로 목적지를 탐색할 수 있습니다.
사실적인 아바타
신경망 렌더링의 고급 기술은 보다 사실적인 디지털 아바타를 위한 길을 열 수도 있습니다. 이러한 아바타는 가상 비서 또는 고객 서비스와 같은 다양한 역할에 사용되거나 사용자가 자신의 유사성을 이미지에 삽입하는 방법으로 사용할 수 있습니다. 비디오 게임 또는 시뮬레이션 렌더링.
예를 들어 종이 2023년 XNUMX월에 게시된 신경 렌더링 기술을 사용하여 몇 분의 비디오 영상 후에 사실적인 아바타를 만들 것을 제안합니다.
결론
신경 렌더링은 전체 컴퓨터 그래픽 산업을 변화시킬 잠재력이 있는 흥미로운 연구 분야입니다.
이 기술은 3D 자산 생성에 대한 진입 장벽을 낮출 수 있습니다. 시각 효과 팀은 몇 분의 사실적인 그래픽을 렌더링하기 위해 더 이상 며칠을 기다릴 필요가 없습니다.
이 기술을 기존 VR 및 AR 애플리케이션과 결합하면 개발자가 보다 몰입감 있는 경험을 만들 수 있습니다.
신경망 렌더링의 진정한 잠재력은 무엇이라고 생각하십니까?
댓글을 남겨주세요.