영화를 보거나, 비디오 게임을 하거나, 가상 현실을 사용하면서 인간 캐릭터가 어떻게 움직이고 나타나는지 이상한 점을 알아차린 적이 있습니까?
사실적이고 상세한 컴퓨터 생성 인간을 만드는 것은 오랫동안 컴퓨터 그래픽 및 컴퓨터 비전 연구의 목표였습니다.
XNUMXD덴탈의 휴먼RF 프로젝트는 그 목표를 향한 흥미진진한 첫 걸음입니다.
HumanRF는 멀티뷰 비디오 입력을 사용하여 움직이는 인간의 전신 모습을 캡처하는 동적 신경 장면 표현입니다. 이것이 무엇에 관한 것이며 이 기술의 잠재적인 이점은 무엇인지 살펴보겠습니다.
인간의 성과 포착
가상 설정의 사실적인 표현을 만드는 것은 오랫동안 문제였습니다. 컴퓨터 그래픽.
전통적으로 아티스트는 손으로 3D 개체를 생성했습니다. 그러나 최근 연구에서는 실제 데이터에서 3D 표현을 재현하는 데 집중했습니다.
특히 인간의 실제 동작을 캡처하고 합성하는 것은 영화 제작, 컴퓨터 게임 및 텔레프레즌스와 같은 응용 프로그램에 대한 연구의 초점이었습니다.
Dynamic Neural Radiance 필드의 발전
최근 몇 년 동안 동적 신경 방사 필드(NeRF)를 사용하여 이러한 문제를 해결하는 데 엄청난 진전이 있었습니다. NeRF는 다층 퍼셉트론(MLP)으로 인코딩된 3D 필드를 재구성할 수 있어 새로운 보기 합성이 가능합니다.
NeRF는 초기에 정적 장면에 초점을 맞추었지만 최근 작업에서는 시간 조절 또는 변형 필드를 사용하여 동적 장면을 다루었습니다. 그러나 이러한 방법은 특히 움직이는 사람을 캡처할 때 복잡한 모션이 포함된 더 긴 시퀀스에서 계속 어려움을 겪고 있습니다.
ActorsHQ의 데이터세
이러한 결함을 해결하기 위해 전문가들은 사실적인 참신한 보기 합성에 최적화된 동작 중인 옷을 입은 인간의 새로운 고충실도 데이터 세트인 ActorsHQ를 제안합니다. 이 데이터 세트에는 각각 160메가픽셀 비디오 스트림을 캡처하는 12대의 동기화된 카메라의 멀티뷰 녹화가 포함되어 있습니다.
이 데이터 세트를 사용하면 기능 그리드의 하위 시공간 텐서 분해와 함께 시간 차원을 통합하여 Instant-NGP 해시 인코딩을 시간 영역으로 확장하는 새로운 장면 표현을 생성할 수 있습니다.
HumanRF 소개
HumanRF는 멀티 뷰 비디오 입력에서 전신 동작을 캡처하고 이전에 볼 수 없었던 관점에서 재생할 수 있는 4D 동적 신경 장면 표현입니다. 아주 작은 공간을 차지하면서 많은 데이터를 캡처하는 비디오 녹화 기술입니다.
레고 세트를 분해하고 재조립할 수 있는 방식과 유사하게 공간과 시간을 더 작은 조각으로 분해하여 이를 수행합니다.
HumanRF 기술은 사람들이 어렵거나 복잡한 움직임을 하고 있더라도 비디오에서 사람들의 움직임을 매우 잘 포착할 수 있습니다. 이 기술의 제작자는 새로 도입된 ActorsHQ 데이터 세트에 대한 HumanRF의 효과를 입증하여 기존의 최첨단 방법에 비해 상당한 개선을 보여줍니다.
그렇다면 어떻게 HumanRF를 만들 수 있었고 내부 작업은 무엇입니까?
HumanRF 방법 개요
4D Feature Grid의 분해
4D 기능 그리드 분해는 HumanRF의 중요한 구성 요소입니다. 이 방법은 최적으로 분할된 4D 세그먼트를 결합하여 동적 3D 장면을 모델링합니다. 각 세그먼트에는 일련의 프레임을 인코딩하는 고유한 학습 가능한 4D 기능 그리드가 있습니다.
시공간 데이터를 보다 간결하게 표현하기 위해 4D 특징 그리드는 3개의 1D 및 4개의 XNUMXD 특징 그리드의 분해로 정의됩니다. XNUMXD 기능 그리드 분해는 적은 공간을 차지하면서 높은 수준의 디테일로 고품질 이미지를 생성하는 방법을 지원합니다.
적응형 시간 분할
HumanRF는 임의의 긴 멀티 뷰 데이터를 효과적으로 렌더링하기 위해 희소 기능 해시 그리드가 있는 얕은 다층 퍼셉트론을 사용합니다. 컴팩트한 4D 기능 그리드는 시간 영역을 구성하는 최적으로 분산된 시간 세그먼트를 나타내는 데 사용됩니다.
시간적 맥락에 관계없이 이 방법은 적응형 시간 분할을 사용하여 각 세그먼트가 포함하는 총 3D 공간 볼륨이 비슷한 크기가 되도록 하여 우수한 표현력을 얻습니다. 비디오 길이에 관계없이 적응형 시간 분할은 일관된 표현을 생성하는 데 도움이 됩니다.
2D 전용 손실이 있는 감독
렌더링 및 입력 RGB 이미지와 전경 마스크 사이의 오류는 감독되는 2D 전용 손실을 사용하여 HumanRF에 의해 측정됩니다.
이 기술은 공유 MLP 및 4D 분해를 사용하여 시간적 일관성을 달성하며 결과는 최상의 세그먼트 크기와 매우 유사합니다.
이 방법은 3D 손실만 사용하기 때문에 2D 손실을 사용하는 방법보다 훈련하기에 더 효과적이고 간단합니다.
이 방법은 실험적으로 테스트된 다른 방법보다 우수한 결과를 생성하므로 높은 수준의 움직이는 인간 배우의 이미지를 생성하는 유망한 전략입니다.
가능한 사용 영역
비디오 게임 및 가상 현실 향상
실시간 가상 캐릭터 생성 비디오 게임 HumanRF로 VR 적용이 가능합니다. 배우의 움직임을 다양한 각도에서 기록할 수 있으며, HumanRF를 통해 데이터를 처리할 수 있습니다.
이것은 허용 게임 개발자 보다 사실적으로 움직이고 환경과 상호 작용할 수 있는 캐릭터를 만들어 플레이어에게 보다 매력적인 경험을 제공합니다.
영화 제작의 모션 캡처
HumanRF는 배우의 움직임에 대한 선명한 이미지를 생성함으로써 영화 제작 과정에서 모션 캡처를 향상시킬 수 있습니다.
영화 제작자는 배우의 연기를 녹화하기 위해 여러 대의 카메라를 사용하고 4D 표현을 생성하기 위해 HumanRF를 사용하여 다양한 각도에서 편집할 수 있는 사실적이고 역동적인 연기를 만들 수 있습니다.
이것은 재촬영의 필요성을 줄이고 생산 비용을 낮춥니다.
가상 회의 및 원격 회의 개선
멀리 떨어져 있는 참가자의 3D 모델을 실시간으로 생성함으로써 HumanRF는 가상 회의에서 몰입감 있고 현실감 있는 생성을 가능하게 합니다.
가상 회의의 참가자는 다양한 각도에서 원격 참가자의 움직임을 캡처하고 HumanRF를 통해 데이터를 처리하여 더 흥미롭고 상호 작용하는 경험을 할 수 있습니다.
또한 HumanRF를 사용하여 원격 참가자의 고품질 보기를 생성할 수 있습니다. 화상 회의, 더 나은 협업과 커뮤니케이션으로 이어집니다.
교육 및 훈련 촉진
HumanRF는 훈련 및 교육 환경에서 역동적이고 사실적인 시뮬레이션을 구축하는 데 사용할 수 있습니다.
HumanRF를 통해 특정 작업을 수행하는 강사 또는 배우의 동작을 기록하고 데이터를 처리하여 훈련생이 보다 현실적이고 흥미로운 환경에서 연습하고 학습할 수 있는 훈련 시뮬레이션을 만들 수 있습니다.
예를 들어 HumanRF는 운전, 비행 또는 의료 훈련을 위한 시뮬레이션을 개발하는 데 사용할 수 있습니다.
보안 및 감시 강화
감시 및 보안 애플리케이션에서 HumanRF를 사용하여 동적이고 사실적인 사람 또는 그룹의 3D 모델을 생성할 수 있습니다. 보안 요원은 다양한 시점에서 개인의 움직임을 포착하고 HumanRF를 통해 데이터를 처리하여 사람의 움직임과 행동을 보다 정확하게 표현할 수 있습니다.
이것은 잠재적인 위협의 식별 및 추적을 향상시킵니다. 보안 담당자는 HumanRF를 사용하여 비상 시나리오의 시뮬레이션을 생성하여 다양한 상황에 대비하고 연습할 수 있습니다.
결론, 미래는 어떻게 될까요?
HumanRF는 움직이는 인간 행위자의 고품질 고유 뷰를 생성하기 위한 효과적인 접근 방식입니다. 모션 캡처, 가상 현실 및 텔레프레즌스를 포함한 다양한 응용 프로그램에서 유망한 결과를 보여주었습니다. HumanRF의 잠재력은 이러한 애플리케이션에 국한되지 않습니다. 이 기술에 대한 몇 가지 추가 가능한 응용 프로그램이 있습니다.
이 분야의 연구가 발전함에 따라 더욱 효율적이고 정밀해지면서 개선될 것으로 기대됩니다.
새로운 알고리즘과 아키텍처는 움직이는 인간 배우를 모델링하고 묘사하는 보다 진보된 방식으로 이어질 것이 거의 확실하며, 이는 영화, 게임 및 통신 산업에서 수많은 흥미로운 발전으로 이어질 수 있습니다.
또한, 응용 프로그램 딥 러닝 모델 HumanRF와 함께하는 것은 향후 연구를 위한 잠재적인 방향입니다. 이것은 보다 효과적이고 효율적인 인간 동작 분석 및 모델링 기술로 이어질 수 있습니다.
또한 HumanRF를 햅틱 피드백 시스템 및 증강 현실과 같은 다른 기술과 결합하면 의료 훈련, 교육 및 치료 분야에서 새로운 응용 분야가 생길 수 있습니다.
댓글을 남겨주세요.