სარჩევი[დამალვა][ჩვენება]
ჰეი, იცოდით, რომ 3D სცენა შეიძლება შეიქმნას 2D მონაცემების შეყვანიდან წამებში NVIDIA-ს Instant NeRF ნერვული რენდერის მოდელით და ამ სცენის ფოტოების გადაღება შესაძლებელია მილიწამებში?
შესაძლებელია უძრავი ფოტოების კოლექციის სწრაფად გადაქცევა ციფრულ 3D გარემოში ტექნიკის გამოყენებით, რომელიც ცნობილია როგორც ინვერსიული რენდერი, რომელიც საშუალებას აძლევს ხელოვნურ ინტელექტს მიბაძოს როგორ მუშაობს სინათლე რეალურ სამყაროში.
ეს არის ერთ-ერთი პირველი ასეთი მოდელი, რომელსაც შეუძლია დააკავშიროს ულტრა სწრაფი ნერვული ქსელის ტრენინგი და სწრაფი რენდერი, იმ ტექნიკის წყალობით, რომელიც NVIDIA-ს კვლევითმა ჯგუფმა შეიმუშავა, რომელიც ასრულებს ოპერაციას წარმოუდგენლად სწრაფად - თითქმის მყისიერად.
ეს სტატია სიღრმისეულად შეისწავლის NVIDIA-ს NeRF-ს, მის სიჩქარეს, გამოყენების შემთხვევებს და სხვა ფაქტორებს.
რა არის NeRF?
NeRF ნიშნავს ნერვულ გამოსხივების ველებს, რაც გულისხმობს რთული სცენების უნიკალური ხედების შექმნის ტექნიკას, უწყვეტი უწყვეტი მოცულობითი სცენის ფუნქციის დახვეწის გზით, მცირე რაოდენობის შეყვანის ხედების გამოყენებით.
როდესაც შეყვანის სახით მოცემულია 2D ფოტოების კოლექცია, NVIDIA-ს NeRF-ები გამოიყენება ნეირონული ქსელები 3D სცენების წარმოდგენა და გენერირება.
ამისათვის საჭიროა მცირე რაოდენობის ფოტოები სხვადასხვა კუთხით ტერიტორიის გარშემო ნერვული ქსელისკამერის მდებარეობასთან ერთად თითოეულ ჩარჩოში.
რაც უფრო ადრე იქნება გადაღებული ეს სურათები, მით უკეთესი, განსაკუთრებით მოძრავი მსახიობების ან საგნების სცენებში.
ხელოვნური ინტელექტის მიერ გენერირებული 3D სცენა დაბინძურდება, თუ 2D სურათის გადაღების პროცედურის დროს ძალიან ბევრი მოძრაობაა.
3D გარემოს ნებისმიერი მდებარეობიდან ყველა მიმართულებით გამომავალი სინათლის ფერის წინასწარმეტყველებით, NeRF ეფექტურად ავსებს ამ მონაცემების მიერ დატოვებულ ხარვეზებს მთელი სურათის ასაგებად.
ვინაიდან NeRF-ს შეუძლია 3D სცენის გენერირება შესაბამისი შეყვანის მიღებიდან რამდენიმე მილიწამში, ეს არის ყველაზე სწრაფი NeRF მიდგომა დღემდე.
NeRF მუშაობს ისე სწრაფად, რომ ის პრაქტიკულად მყისიერია, აქედან გამომდინარეობს მისი სახელი. თუ სტანდარტული 3D გამოსახულებები, როგორიცაა პოლიგონური ბადეები, არის ვექტორული სურათები, NeRF არის ბიტმაპის გამოსახულება: ისინი მჭიდროდ აღბეჭდავენ, თუ როგორ გამოდის შუქი ობიექტიდან ან სცენის შიგნით.
მყისიერი NeRF მნიშვნელოვანია 3D-ისთვის, რადგან ციფრული კამერები და JPEG შეკუმშვა იყო 2D ფოტოგრაფიისთვის, რაც მკვეთრად აძლიერებს 3D გადაღების და გაზიარების სიჩქარეს, მოხერხებულობას და მისაწვდომობას.
Instant NeRF შეიძლება გამოყენებულ იქნას ავატარების ან თუნდაც მთელი პეიზაჟების შესაქმნელად ვირტუალური სამყაროსთვის.
Polaroid-ის ფოტოების ადრეული პერიოდისადმი პატივისცემის მიზნით, NVIDIA Research-ის ჯგუფმა ხელახლა შექმნა ენდი უორჰოლის მყისიერი ფოტოს გადაღება და გადააკეთა ის 3D სცენად Instant NeRF-ის გამოყენებით.
მართლა 1,000-ჯერ უფრო სწრაფია?
3D სცენის შექმნას შეიძლება საათები დასჭირდეს NeRF-მდე, რაც დამოკიდებულია მის სირთულესა და ხარისხზე.
ხელოვნურმა ინტელექტუალმა მნიშვნელოვნად დააჩქარა პროცესი, მაგრამ სათანადო ვარჯიშს მაინც შეიძლება რამდენიმე საათი დასჭირდეს. NVIDIA-ს მიერ დანერგილი მეთოდის გამოყენებით, რომელსაც ეწოდება მრავალ რეზოლუციის ჰეშის კოდირება, Instant NeRF ამცირებს რენდერის დროს 1,000-ჯერ.
მოდელის შესაქმნელად გამოყენებული იქნა Tiny CUDA Neural Networks პაკეტი და NVIDIA CUDA Toolkit. NVIDIA-ს თანახმად, იმის გამო, რომ ეს არის მსუბუქი ნეირონული ქსელი, მისი მომზადება და გამოყენება შესაძლებელია ერთ NVIDIA GPU-ზე, NVIDIA Tensor Core ბარათებით, რომლებიც მუშაობენ ყველაზე სწრაფი სიჩქარით.
გამოყენების შემთხვევაში
თვითმართვადი მანქანები ამ ტექნოლოგიის ერთ-ერთი ყველაზე მნიშვნელოვანი პროგრამაა. ეს მანქანები ძირითადად მოქმედებენ თავიანთი გარემოს წარმოდგენით.
თუმცა, დღევანდელი ტექნოლოგიის პრობლემა ის არის, რომ ის მოუხერხებელია და ცოტა დიდხანს სჭირდება.
თუმცა, Instant NeRF-ის გამოყენებით, ყველაფერი რაც საჭიროა თვითმართვადი მანქანისთვის რეალურ სამყაროში არსებული ობიექტების ზომისა და ფორმის მიახლოებით/გაცნობისთვის არის უძრავი ფოტოების გადაღება, მათი 3D გადაქცევა და შემდეგ ამ ინფორმაციის გამოყენება.
კიდევ შეიძლება იყოს სხვა გამოყენება მეტავერსიაში ან ვიდეო თამაში წარმოების ინდუსტრიები.
იმის გამო, რომ Instant NeRF საშუალებას გაძლევთ სწრაფად შექმნათ ავატარები ან თუნდაც მთელი ვირტუალური სამყარო, ეს მართალია.
თითქმის ცოტა 3D პერსონაჟი მოდელირება იქნება საჭირო, რადგან ყველაფერი რაც თქვენ უნდა გააკეთოთ არის ნერვული ქსელის გაშვება და ის წარმოქმნის პერსონაჟს თქვენთვის.
გარდა ამისა, NVIDIA კვლავ იკვლევს ამ ტექნოლოგიის გამოყენებას მანქანურ სწავლებასთან დაკავშირებული დამატებითი აპლიკაციებისთვის.
მაგალითად, ის შეიძლება გამოყენებულ იქნას ენების უფრო ზუსტად თარგმნისთვის, ვიდრე ადრე და ზოგადი დანიშნულების გასაუმჯობესებლად ღრმა სწავლება ალგორითმები ახლა გამოიყენება ამოცანების ფართო სპექტრისთვის.
დასკვნა
ბევრი გრაფიკული საკითხი ეყრდნობა ამოცანის სპეციფიკურ მონაცემთა სტრუქტურებს, რათა გამოიყენოს პრობლემის სირბილე ან სიმპათია.
პრაქტიკული სწავლაზე დაფუძნებული ალტერნატივა, რომელსაც გთავაზობთ NVIDIA-ს მრავალ რეზოლუციის ჰეშის კოდირება, ავტომატურად კონცენტრირდება შესაბამის დეტალებზე, სამუშაო დატვირთვის მიუხედავად.
მეტი ინფორმაციისთვის, თუ როგორ მუშაობს ყველაფერი შიგნით, იხილეთ ოფიციალური GitHub საცავი.
დატოვე პასუხი