Pernahkah anda menonton filem, bermain permainan video atau menggunakan realiti maya dan perasan apa-apa tentang cara watak manusia bergerak dan muncul?
Mencipta manusia yang dijana komputer yang realistik dan terperinci telah lama menjadi matlamat grafik komputer dan penyelidikan penglihatan komputer.
. HumanRF projek adalah langkah pertama yang menarik ke arah matlamat itu
HumanRF ialah perwakilan adegan saraf dinamik yang menggunakan input video berbilang paparan untuk menangkap rupa seluruh badan manusia yang sedang bergerak. Mari lihat apa itu semua dan apakah potensi manfaat teknologi ini.
Menangkap Prestasi Manusia
Mencipta perwakilan fotorealistik tetapan maya telah lama menjadi masalah grafik komputer.
Secara tradisinya, artis menghasilkan objek 3D dengan tangan. Kajian terkini, walau bagaimanapun, telah menumpukan pada mencipta semula perwakilan 3D daripada data dunia sebenar.
Menangkap dan mensintesis persembahan manusia yang realistik, khususnya, telah menjadi tumpuan kajian untuk aplikasi seperti penerbitan filem, permainan komputer dan telepresence.
Kemajuan Medan Sinaran Neural Dinamik
Dalam beberapa tahun kebelakangan ini, kemajuan besar telah dicapai dalam menangani cabaran ini melalui penggunaan medan sinaran saraf dinamik (NeRF). NeRF mampu membina semula medan 3D yang dikodkan dalam perceptron berbilang lapisan (MLP), membenarkan sintesis paparan novel.
Walaupun NeRF pada mulanya tertumpu pada adegan statik, kerja yang lebih terkini telah menangani adegan dinamik menggunakan medan penyaman masa atau ubah bentuk. Walau bagaimanapun, kaedah ini terus bergelut dengan urutan yang lebih panjang dengan gerakan yang kompleks, terutamanya apabila ia datang untuk menangkap manusia yang bergerak.
Datase ActorsHQ
Untuk menangani kelemahan ini, para profesional mencadangkan ActorsHQ, set data kesetiaan tinggi baharu bagi manusia berpakaian yang dioptimumkan untuk sintesis paparan novel fotorealistik. Set data mengandungi rakaman berbilang paparan daripada 160 kamera disegerakkan, setiap satu menangkap strim video 12 megapiksel.
Set data ini membolehkan penciptaan perwakilan pemandangan baharu yang memanjangkan pengekodan cincang Instant-NGP ke domain temporal dengan menggabungkan dimensi masa bersama penguraian tensor ruang-masa peringkat rendah bagi grid ciri.
Memperkenalkan HumanRF
HumanRF ialah perwakilan adegan saraf dinamik 4D yang menangkap gerakan seluruh badan daripada input video berbilang paparan dan membenarkan main balik dari perspektif yang tidak kelihatan sebelum ini. Ia adalah teknik untuk rakaman video yang menangkap banyak data sambil mengambil sedikit ruang.
Ia mencapai ini dengan memecahkan ruang dan masa kepada kepingan yang lebih kecil, sama seperti cara set Lego boleh dibongkar dan dipasang semula.
Teknologi HumanRF boleh menangkap pergerakan orang dalam video dengan sangat baik, walaupun mereka melakukan pergerakan yang sukar atau rumit. Pencipta teknologi ini menunjukkan keberkesanan HumanRF pada set data ActorsHQ yang baru diperkenalkan, menunjukkan peningkatan yang ketara berbanding kaedah terkini yang sedia ada.
Jadi, bagaimana mungkin untuk mencipta HumanRF dan apakah fungsi dalamannya?
Gambaran Keseluruhan Kaedah HumanRF
Penguraian Grid Ciri 4D
Penguraian grid ciri 4D ialah komponen kritikal HumanRF. Dengan menggabungkan segmen 4D yang dibahagikan secara optimum, kaedah ini memodelkan pemandangan 3D yang dinamik. Setiap segmen mempunyai grid ciri 4D yang boleh dilatih sendiri, yang mengekodkan jujukan bingkai.
Untuk mewakili data spatiotemporal dengan lebih padat, grid ciri 4D ditakrifkan sebagai penguraian empat grid ciri 3D dan empat 1D. Penguraian grid ciri 4D membantu kaedah dalam menghasilkan imej berkualiti tinggi dengan perincian tahap tinggi sambil mengambil lebih sedikit ruang.
Pembahagian Temporal Adaptif
HumanRF menggunakan perceptron berbilang lapisan cetek dengan grid cincang ciri yang jarang untuk menghasilkan data berbilang paparan panjang sewenang-wenangnya dengan berkesan. Grid ciri 4D yang padat digunakan untuk mewakili segmen temporal yang diedarkan secara optimum yang membentuk domain masa.
Tanpa mengira konteks temporal, kaedah ini mencapai kuasa perwakilan yang unggul dengan menggunakan pembahagian temporal adaptif untuk memastikan bahawa jumlah isipadu ruang 3D yang diliputi oleh setiap segmen adalah saiz yang sama. Tidak kira berapa lama video itu, pembahagian temporal adaptif membantu dalam menghasilkan perwakilan yang konsisten.
Penyeliaan dengan Kerugian 2D sahaja
Ralat antara imej RGB yang diberikan dan input dan topeng latar depan diukur oleh HumanRF menggunakan kerugian 2D sahaja yang diawasi.
Teknik ini mencapai ketekalan temporal menggunakan MLP dan penguraian 4D yang dikongsi, dan hasilnya sangat serupa dengan saiz segmen terbaik.
Kaedah ini lebih berkesan dan mudah untuk dilatih berbanding kaedah yang menggunakan kerugian 3D kerana ia hanya menggunakan kerugian 2D.
Kaedah ini menghasilkan keputusan yang lebih baik daripada kaedah lain yang diuji secara eksperimen, menjadikannya strategi yang menjanjikan untuk menghasilkan imej pelakon manusia dalam gerakan yang berkaliber tinggi.
Kemungkinan Kawasan Penggunaan
Mempertingkatkan Permainan Video dan Realiti Maya
Penciptaan watak maya masa nyata untuk permainan video dan aplikasi VR boleh dilakukan dengan HumanRF. Pergerakan aktor manusia boleh dirakam dari pelbagai sudut, dan data kemudiannya boleh diproses melalui HumanRF.
Ini membenarkan pemaju permainan untuk mencipta watak yang boleh bergerak dan berinteraksi dengan persekitaran secara lebih realistik, memberikan pemain pengalaman yang lebih menarik.
Motion Capture dalam Penerbitan Filem
Dengan menghasilkan imej yang jelas tentang gerakan pelakon, HumanRF boleh meningkatkan tangkapan gerakan dalam proses pembikinan filem.
Pembuat filem boleh mencipta persembahan yang realistik dan dinamik yang boleh disunting dari sudut berbeza dengan menggunakan berbilang kamera untuk merakam persembahan pelakon dan HumanRF untuk menghasilkan perwakilan 4D.
Ini mengurangkan keperluan untuk penggambaran semula dan mengurangkan kos pengeluaran.
Mempertingkatkan Mesyuarat Maya dan Telesidang
Dengan menghasilkan model 3D peserta jauh dalam masa nyata, HumanRF membolehkan penciptaan imersif dan realisme dalam mesyuarat maya.
Peserta dalam mesyuarat maya boleh mempunyai pengalaman yang lebih menarik dan interaktif dengan menangkap gerakan peserta jauh dari pelbagai sudut dan memproses data melalui HumanRF.
Selain itu, HumanRF boleh digunakan untuk mencipta paparan berkualiti tinggi peserta jauh semasa persidangan video, membawa kepada kerjasama dan komunikasi yang lebih baik.
Memudahkan Pendidikan dan Latihan
HumanRF boleh digunakan untuk membina simulasi dinamik dan realistik dalam persekitaran latihan dan pendidikan.
Simulasi latihan yang membolehkan pelatih berlatih dan belajar dalam persekitaran yang lebih realistik dan menarik boleh dibuat dengan merakam gerakan pengajar atau pelakon yang menjalankan tugas tertentu dan memproses data melalui HumanRF.
HumanRF, misalnya, boleh digunakan untuk membangunkan simulasi untuk memandu, penerbangan atau latihan perubatan.
Meningkatkan Keselamatan dan Pengawasan
Dalam aplikasi pengawasan dan keselamatan, HumanRF boleh digunakan untuk mencipta model 3D orang atau kumpulan yang dinamik dan realistik. Kakitangan keselamatan boleh mempunyai perwakilan yang lebih tepat tentang gerakan dan tingkah laku seseorang dengan menangkap gerakan individu dari pelbagai sudut pandangan dan memproses data melalui HumanRF.
Ini menambah baik pengenalpastian dan pengesanan potensi ancaman. Kakitangan keselamatan boleh berlatih dan bersedia untuk pelbagai situasi dengan menggunakan HumanRF untuk mencipta simulasi senario kecemasan.
Penutup, Apakah Masa Depan?
HumanRF ialah pendekatan yang berkesan untuk menjana pandangan unik berkualiti tinggi bagi pelakon manusia yang bergerak. Ia telah menunjukkan hasil yang menjanjikan dalam pelbagai aplikasi, termasuk tangkapan gerakan, realiti maya dan telepresence. Potensi HumanRF tidak terhad kepada aplikasi ini; terdapat beberapa kemungkinan aplikasi tambahan untuk teknologi ini.
Ia dijangka bertambah baik apabila kajian dalam sektor ini berkembang, menjadi lebih cekap dan tepat.
Algoritma dan seni bina baharu hampir pasti akan membawa kepada cara yang lebih maju untuk memodelkan dan menggambarkan pelakon manusia dalam gerakan, yang mungkin membawa kepada banyak kemajuan menarik dalam industri pawagam, permainan dan komunikasi.
Selanjutnya, penerapan model pembelajaran mendalam bersama HumanRF adalah hala tuju yang berpotensi untuk kajian masa depan. Ini mungkin membawa kepada analisis gerakan manusia dan teknologi pemodelan yang lebih berkesan dan cekap.
Tambahan pula, menggabungkan HumanRF dengan teknologi lain seperti sistem maklum balas haptik dan realiti tambahan boleh menimbulkan aplikasi baharu dalam latihan perubatan, pendidikan dan terapi.
Sila tinggalkan balasan anda