Bạn đã bao giờ xem một bộ phim, chơi trò chơi điện tử hoặc sử dụng thực tế ảo và nhận thấy bất kỳ điều gì khác thường về cách các nhân vật con người di chuyển và xuất hiện chưa?
Tạo ra con người thực tế và chi tiết do máy tính tạo ra từ lâu đã là mục tiêu của đồ họa máy tính và nghiên cứu thị giác máy tính.
Sản phẩm con ngườiRF dự án là một bước thú vị đầu tiên hướng tới mục tiêu đó
HumanRF là một biểu diễn cảnh thần kinh động sử dụng đầu vào video nhiều chế độ xem để ghi lại hình ảnh toàn thân của con người đang chuyển động. Hãy xem nó là gì và những lợi ích tiềm năng của công nghệ này là gì.
Nắm bắt hiệu suất của con người
Việc tạo các biểu diễn quang học của các cài đặt ảo từ lâu đã là một vấn đề trong đô họa may tinh.
Theo truyền thống, các nghệ sĩ tạo ra các đối tượng 3D bằng tay. Tuy nhiên, các nghiên cứu gần đây đã tập trung vào việc tái tạo các biểu diễn 3D từ dữ liệu trong thế giới thực.
Đặc biệt, việc nắm bắt và tổng hợp các màn trình diễn thực tế của con người là trọng tâm nghiên cứu cho các ứng dụng như sản xuất phim, trò chơi máy tính và thuyết trình từ xa.
Những tiến bộ về trường bức xạ thần kinh động
Trong những năm gần đây, người ta đã đạt được những tiến bộ to lớn trong việc giải quyết những thách thức này thông qua việc sử dụng các trường bức xạ thần kinh động (NeRF). NeRF có khả năng tái tạo lại các trường 3D được mã hóa trong một tri giác nhiều lớp (MLP), cho phép tổng hợp chế độ xem mới.
Mặc dù NeRF ban đầu tập trung vào các cảnh tĩnh, nhưng công việc gần đây hơn đã giải quyết các cảnh động bằng cách sử dụng các trường biến dạng hoặc điều hòa thời gian. Tuy nhiên, các phương pháp này tiếp tục gặp khó khăn với các chuỗi dài hơn có chuyển động phức tạp, đặc biệt khi chụp người đang di chuyển.
Dữ liệu của ActorsHQ
Để giải quyết những sai sót này, các chuyên gia đề xuất ActorsHQ, một bộ dữ liệu mới có độ trung thực cao về những người mặc quần áo đang chuyển động được tối ưu hóa để tổng hợp chế độ xem tiểu thuyết chân thực. Bộ dữ liệu chứa các bản ghi nhiều chế độ xem từ 160 camera được đồng bộ hóa, mỗi camera ghi lại các luồng video 12 megapixel.
Bộ dữ liệu này cho phép tạo ra một biểu diễn cảnh mới mở rộng mã hóa băm Instant-NGP sang miền thời gian bằng cách kết hợp thứ nguyên thời gian cùng với phân tách tensor không-thời gian cấp thấp của lưới đặc trưng.
Giới thiệu HumanRF
HumanRF là một đại diện cảnh thần kinh động 4D ghi lại chuyển động toàn thân từ đầu vào video nhiều chế độ xem và cho phép phát lại từ các phối cảnh chưa từng thấy trước đây. Đó là một kỹ thuật quay video thu được nhiều dữ liệu trong khi chiếm rất ít dung lượng.
Nó thực hiện điều này bằng cách chia nhỏ không gian và thời gian thành những mảnh nhỏ hơn, tương tự như cách một bộ Lego có thể được tháo rời và lắp ráp lại.
Công nghệ HumanRF có thể ghi lại chuyển động của người trong video rất tốt, ngay cả khi họ đang thực hiện các động tác khó hoặc phức tạp. Những người tạo ra công nghệ này chứng minh tính hiệu quả của HumanRF trên bộ dữ liệu ActorsHQ mới được giới thiệu, thể hiện sự cải tiến đáng kể so với các phương pháp tiên tiến hiện có.
Vì vậy, làm thế nào có thể tạo ra HumanRF và hoạt động bên trong của nó là gì?
Tổng quan về phương pháp HumanRF
Phân tách lưới tính năng 4D
Phân tách lưới tính năng 4D là một thành phần quan trọng của HumanRF. Bằng cách kết hợp các phân đoạn 4D được phân vùng tối ưu, phương pháp này tạo mô hình cảnh 3D động. Mỗi phân đoạn có lưới tính năng 4D có thể đào tạo riêng, mã hóa một chuỗi khung hình.
Để biểu diễn dữ liệu không gian thời gian gọn hơn, lưới đối tượng 4D được định nghĩa là sự phân tách của bốn lưới đối tượng 3D và bốn lưới đối tượng 1D. Việc phân tách lưới tính năng 4D hỗ trợ phương pháp tạo ra hình ảnh chất lượng cao với mức độ chi tiết cao trong khi chiếm ít không gian hơn.
Phân vùng tạm thời thích ứng
HumanRF sử dụng các tri giác đa lớp nông với lưới băm tính năng thưa thớt để hiển thị dữ liệu nhiều chế độ xem dài tùy ý một cách hiệu quả. Một lưới tính năng 4D nhỏ gọn được sử dụng để biểu diễn các phân đoạn thời gian được phân phối tối ưu tạo nên miền thời gian.
Bất kể bối cảnh thời gian như thế nào, phương pháp này đạt được sức mạnh biểu diễn vượt trội bằng cách sử dụng phân vùng thời gian thích ứng để đảm bảo rằng tổng khối lượng không gian 3D được bao phủ bởi mỗi phân đoạn có kích thước tương tự nhau. Bất kể video dài bao nhiêu, việc phân vùng thời gian thích ứng sẽ hỗ trợ tạo ra sự thể hiện nhất quán.
Giám sát chỉ tổn thất 2D
Các lỗi giữa hình ảnh RGB được kết xuất và đầu vào cũng như mặt nạ nền trước được đo bằng HumanRF bằng cách sử dụng các tổn thất chỉ 2D được giám sát.
Kỹ thuật này đạt được tính nhất quán theo thời gian bằng cách sử dụng MLP được chia sẻ và phân tách 4D và kết quả rất giống với kết quả của các kích thước phân đoạn tốt nhất.
Phương pháp này hiệu quả hơn và đơn giản hơn để đào tạo so với các phương pháp sử dụng tổn thất 3D vì nó chỉ sử dụng tổn thất 2D.
Phương pháp này tạo ra kết quả vượt trội so với các phương pháp đã được thử nghiệm thực nghiệm khác, khiến nó trở thành một chiến lược đầy hứa hẹn để tạo ra hình ảnh của các diễn viên con người đang chuyển động có chất lượng cao.
Khu vực sử dụng có thể
Tăng cường trò chơi điện tử và thực tế ảo
Tạo nhân vật ảo thời gian thực cho trò chơi video và các ứng dụng VR có thể thực hiện được với HumanRF. Chuyển động của diễn viên con người có thể được ghi lại từ nhiều góc độ khác nhau và dữ liệu sau đó có thể được xử lý thông qua HumanRF.
Điều này cho phép nhà phát triển trò chơi để tạo ra các nhân vật có thể di chuyển và tương tác với môi trường một cách chân thực hơn, mang đến cho người chơi trải nghiệm hấp dẫn hơn.
Motion Capture trong sản xuất phim
Bằng cách tạo ra những hình ảnh rõ nét về chuyển động của diễn viên, HumanRF có thể nâng cao khả năng ghi lại chuyển động trong quá trình làm phim.
Các nhà làm phim có thể tạo ra màn trình diễn sống động và chân thực, có thể chỉnh sửa từ các góc độ khác nhau bằng cách sử dụng nhiều camera để ghi lại màn trình diễn của diễn viên và HumanRF để tạo ra hình ảnh 4D.
Điều này làm giảm nhu cầu quay lại và giảm chi phí sản xuất.
Tăng cường các cuộc họp ảo và hội nghị từ xa
Bằng cách tạo ra các mô hình 3D của những người tham gia ở xa trong thời gian thực, HumanRF cho phép tạo ra tính chân thực và nhập vai trong các cuộc họp ảo.
Những người tham gia cuộc họp ảo có thể có trải nghiệm tương tác và thú vị hơn bằng cách ghi lại chuyển động của người tham gia từ xa từ nhiều góc độ khác nhau và xử lý dữ liệu thông qua HumanRF.
Ngoài ra, HumanRF có thể được sử dụng để tạo chế độ xem chất lượng cao của những người tham gia từ xa trong quá trình hội nghị truyền hình, dẫn đến sự hợp tác và giao tiếp tốt hơn.
Tạo thuận lợi cho Giáo dục và Đào tạo
HumanRF có thể được sử dụng để xây dựng các mô phỏng động, thực tế trong môi trường đào tạo và giáo dục.
Có thể thực hiện mô phỏng đào tạo cho phép học viên thực hành và học hỏi trong môi trường thực tế và thú vị hơn bằng cách ghi lại chuyển động của người hướng dẫn hoặc diễn viên thực hiện các nhiệm vụ cụ thể và xử lý dữ liệu thông qua HumanRF.
Ví dụ, HumanRF có thể được sử dụng để phát triển các mô phỏng cho đào tạo lái xe, bay hoặc y tế.
Tăng cường an ninh và giám sát
Trong các ứng dụng giám sát và bảo mật, HumanRF có thể được sử dụng để tạo mô hình 3D của những người hoặc nhóm năng động và thực tế. Nhân viên an ninh có thể thể hiện chính xác hơn chuyển động và hành vi của một người bằng cách ghi lại chuyển động của các cá nhân từ nhiều góc độ khác nhau và xử lý dữ liệu thông qua HumanRF.
Điều này cải thiện việc xác định và theo dõi các mối đe dọa tiềm ẩn. Nhân viên an ninh có thể thực hành và sẵn sàng cho các tình huống khác nhau bằng cách sử dụng HumanRF để tạo mô phỏng các tình huống khẩn cấp.
Tóm lại, tương lai nắm giữ điều gì?
HumanRF là một cách tiếp cận hiệu quả để tạo ra các chế độ xem độc đáo chất lượng cao về một diễn viên con người đang chuyển động. Nó đã cho thấy những kết quả đầy hứa hẹn trong nhiều ứng dụng, bao gồm ghi lại chuyển động, thực tế ảo và hội nghị từ xa. Tiềm năng của HumanRF không chỉ giới hạn ở những ứng dụng này; có một số ứng dụng bổ sung có thể cho công nghệ này.
Nó được dự đoán sẽ cải thiện khi nghiên cứu trong lĩnh vực này phát triển, trở nên hiệu quả và chính xác hơn.
Các thuật toán và kiến trúc mới gần như chắc chắn sẽ dẫn đến những cách tiên tiến hơn để lập mô hình và mô tả các tác nhân con người đang chuyển động, điều này có thể dẫn đến nhiều tiến bộ thú vị trong ngành điện ảnh, trò chơi và truyền thông.
Hơn nữa, ứng dụng của mô hình học sâu cùng với HumanRF là một hướng nghiên cứu tiềm năng trong tương lai. Điều này có thể dẫn đến các công nghệ mô hình và phân tích chuyển động của con người hiệu quả hơn.
Hơn nữa, việc kết hợp HumanRF với các công nghệ khác như hệ thống phản hồi xúc giác và thực tế tăng cường có thể tạo ra các ứng dụng mới trong đào tạo, giáo dục và trị liệu y tế.
Bình luận