ნერვული რენდერინგი არის განვითარებადი ტექნიკა ღრმა სწავლაში, რომელიც მიზნად ისახავს გაზარდოს კომპიუტერული გრაფიკის კლასიკური მილსადენი ნერვული ქსელებით.
ნერვული გადაცემის ალგორითმი მოითხოვს სურათების ერთობლიობას, რომელიც წარმოადგენს ერთი და იმავე სცენის სხვადასხვა კუთხით. შემდეგ ეს სურათები გადაიცემა ნერვულ ქსელში, რათა შეიქმნას მოდელი, რომელსაც შეუძლია გამოიტანოს ერთი და იგივე სცენის ახალი კუთხე.
ნეირონული რენდერინგის ბრწყინვალება მდგომარეობს იმაში, თუ როგორ შეუძლია ზუსტად აღადგინოს დეტალური ფოტორეალისტური სცენები კლასიკურ მეთოდებზე დაყრდნობის გარეშე, რომლებიც შეიძლება იყოს უფრო რთული გამოთვლითი.
სანამ ჩავუღრმავდებით, თუ როგორ მუშაობს ნერვული რენდერინგი, მოდით გადავიდეთ კლასიკური რენდერის საფუძვლებზე.
რა არის კლასიკური რენდერი?
მოდით ჯერ გავიგოთ ტიპიური მეთოდები, რომლებიც გამოიყენება კლასიკურ რენდერში.
კლასიკური რენდერი ეხება ტექნიკის ერთობლიობას, რომელიც გამოიყენება სამგანზომილებიანი სცენის 2D გამოსახულების შესაქმნელად. ასევე ცნობილი როგორც გამოსახულების სინთეზი, კლასიკური რენდერი იყენებს სხვადასხვა ალგორითმს სიმულაციისთვის, თუ როგორ ურთიერთქმედებს შუქი სხვადასხვა ტიპის ობიექტებთან.
მაგალითად, მყარი აგურის გაფორმებას დასჭირდება ალგორითმების გარკვეული ნაკრები ჩრდილის პოზიციის დასადგენად ან რამდენად კარგად იქნება განათებული კედლის ორივე მხარე. ანალოგიურად, ობიექტებს, რომლებიც ირეკლავენ ან ირეკლავენ სინათლეს, როგორიცაა სარკე, მბზინავი ობიექტი ან წყლის სხეული, ასევე საჭიროებენ საკუთარ ტექნიკას.
კლასიკურ რენდერში, თითოეული აქტივი წარმოდგენილია მრავალკუთხედის ბადით. Shader პროგრამა შემდეგ გამოიყენებს მრავალკუთხედს, როგორც შეყვანისთვის, რათა დადგინდეს, თუ როგორ გამოიყურება ობიექტი მითითებული განათებისა და კუთხის გათვალისწინებით.
რეალისტურ რენდერირებას დასჭირდება გაცილებით მეტი გამოთვლითი ძალა, რადგან ჩვენს აქტივებს საბოლოოდ აქვთ მილიონობით მრავალკუთხედი, რომლებიც შესაყვანად გამოიყენება. კომპიუტერით გენერირებული გამომავალი, რომელიც გავრცელებულია ჰოლივუდურ ბლოკბასტერებში, ჩვეულებრივ კვირებს ან თვეებს სჭირდება და შეიძლება მილიონობით დოლარი დაჯდეს.
სხივების მიკვლევის მიდგომა განსაკუთრებით ძვირია, რადგან საბოლოო გამოსახულებაში თითოეული პიქსელი მოითხოვს იმ ბილიკის გაანგარიშებას, რომელსაც შუქი ატარებს სინათლის წყაროდან ობიექტამდე და კამერამდე.
ტექნიკის მიღწევებმა გრაფიკული რენდერინგი ბევრად უფრო ხელმისაწვდომი გახადა მომხმარებლებისთვის. მაგალითად, ბევრი უახლესი ვიდეო თამაშები დაუშვას სხივების მიკვლევა ეფექტები, როგორიცაა ფოტო-რეალისტური ასახვები და ჩრდილები, სანამ მათი აპარატურა შეესაბამება ამოცანას.
უახლესი GPU-ები (გრაფიკული დამუშავების ერთეულები) შექმნილია სპეციალურად იმისთვის, რომ დაეხმაროს პროცესორს გაუმკლავდეს უაღრესად რთულ გამოთვლებს, რომლებიც საჭიროა ფოტო-რეალისტური გრაფიკის გასაკეთებლად.
ნერვული რენდერინგის აღზევება
ნერვული რენდერინგი ცდილობს გადაჭრას რენდერის პრობლემა სხვაგვარად. იმის ნაცვლად, რომ გამოვიყენოთ ალგორითმები სიმულაციისთვის, თუ როგორ ურთიერთქმედებს სინათლე ობიექტებთან, რა მოხდება, თუ ჩვენ შევქმნით მოდელს, რომელიც გაიგებს, როგორ უნდა გამოიყურებოდეს სცენა გარკვეული კუთხიდან?
თქვენ შეგიძლიათ იფიქროთ, როგორც მალსახმობი ფოტორეალისტური სცენების შესაქმნელად. ნერვული რენდერინგით, ჩვენ არ გვჭირდება გამოვთვალოთ როგორ ურთიერთქმედებს სინათლე ობიექტთან, ჩვენ უბრალოდ გვჭირდება საკმარისი სასწავლო მონაცემები.
ეს მიდგომა მკვლევარებს საშუალებას აძლევს შექმნან რთული სცენების მაღალი ხარისხის რენდერები შესრულების გარეშე
რა არის ნერვული ველები?
როგორც უკვე აღვნიშნეთ, 3D რენდერების უმეტესობა იყენებს პოლიგონის ბადეებს თითოეული ობიექტის ფორმისა და ტექსტურის მონაცემების შესანახად.
ამასთან, ნერვული ველები პოპულარობას იძენს, როგორც სამგანზომილებიანი ობიექტების წარმოდგენის ალტერნატიული მეთოდი. პოლიგონური ბადეებისგან განსხვავებით, ნერვული ველები დიფერენცირებადი და უწყვეტია.
რას ვგულისხმობთ, როდესაც ვამბობთ, რომ ნერვული ველები დიფერენცირებადია?
2D გამომავალი ნერვული ველიდან ახლა უკვე შეიძლება გაწვრთნას, რომ გახდეს ფოტორეალისტური, უბრალოდ ნერვული ქსელის წონის კორექტირებით.
ნერვული ველების გამოყენებით, ჩვენ აღარ გვჭირდება სინათლის ფიზიკის სიმულაცია სცენის გამოსატანად. ცოდნა იმის შესახებ, თუ როგორ იქნება განათებული საბოლოო რენდერი, ახლა შენახულია ჩვენი წონების შიგნით ნერვული ქსელის.
ეს საშუალებას გვაძლევს შევქმნათ ახალი სურათები და ვიდეო შედარებით სწრაფად რამდენიმე ფოტო ან ვიდეო კადრებიდან.
როგორ მოვამზადოთ ნერვული ველი?
ახლა, როდესაც ჩვენ ვიცით საფუძვლები, თუ როგორ მუშაობს ნერვული ველი, მოდით შევხედოთ, თუ როგორ შეუძლიათ მკვლევარებს გაწვრთნას ნერვული სხივის ველი ან NeRF.
პირველ რიგში, ჩვენ დაგვჭირდება სცენის შემთხვევითი კოორდინატების ნიმუში და შევიტანოთ ისინი ნერვულ ქსელში. შემდეგ ეს ქსელი შეძლებს საველე რაოდენობების წარმოებას.
წარმოებული ველის რაოდენობები განიხილება ნიმუშები იმ სცენის სასურველი რეკონსტრუქციის დომენიდან, რომლის შექმნაც გვინდა.
შემდეგ ჩვენ დაგვჭირდება რეკონსტრუქციის რუკა რეალურ 2D სურათებზე. შემდეგ ალგორითმი გამოთვლის რეკონსტრუქციის შეცდომას. ეს შეცდომა ხელმძღვანელობს ნერვულ ქსელს სცენის აღდგენის უნარის ოპტიმიზაციაში.
ნერვული რენდერინგის აპლიკაციები
რომანის ხედვის სინთეზი
ახალი ხედვის სინთეზი ეხება კამერის პერსპექტივების შექმნას ახალი კუთხით, შეზღუდული რაოდენობის პერსპექტივის მონაცემების გამოყენებით.
ნერვული გადაცემის ტექნიკა ცდილობს გამოიცნოს კამერის ფარდობითი პოზიცია მონაცემთა ნაკრებში თითოეული სურათისთვის და მიაწოდოს ეს მონაცემები ნერვულ ქსელში.
შემდეგ ნერვული ქსელი შექმნის სცენის 3D წარმოდგენას, სადაც 3D სივრცის თითოეულ წერტილს აქვს ასოცირებული ფერი და სიმკვრივე.
NeRF-ების ახალი განხორციელება Google Street View იყენებს ახალი ხედვის სინთეზს, რათა მომხმარებლებს საშუალება მისცეს გამოიკვლიონ რეალური ადგილები, თითქოს ისინი აკონტროლებდნენ ვიდეოს გადაღებას კამერას. ეს საშუალებას აძლევს ტურისტებს შეისწავლონ მიმართულებები იმერსიული გზით, სანამ გადაწყვეტენ კონკრეტულ ადგილზე გამგზავრებას.
ფოტო-რეალისტური ავატარები
ნერვული რენდერინგის მოწინავე ტექნიკას ასევე შეუძლია გზა გაუხსნას უფრო რეალისტურ ციფრულ ავატარებს. შემდეგ ეს ავატარები შეიძლება გამოყენებულ იქნას სხვადასხვა როლებისთვის, როგორიცაა ვირტუალური ასისტენტები ან მომხმარებელთა მომსახურება, ან მომხმარებლებისთვის მათი მსგავსების ჩასმის საშუალებად. ვიდეო თამაში ან სიმულირებული რენდერი.
მაგალითად, ქაღალდი 2023 წლის მარტში გამოქვეყნებული გვთავაზობს ნერვული რენდერინგის ტექნიკის გამოყენებას ფოტო-რეალისტური ავატარის შესაქმნელად რამდენიმე წუთის ვიდეოკადრების შემდეგ.
დასკვნა
ნერვული რენდერინგი არის საინტერესო კვლევის სფერო, რომელსაც აქვს პოტენციალი შეცვალოს კომპიუტერული გრაფიკის მთელი ინდუსტრია.
ტექნოლოგიას შეუძლია შეამციროს შესვლის ბარიერი 3D აქტივების შესაქმნელად. ვიზუალური ეფექტების გუნდებს შესაძლოა აღარ დასჭირდეთ დღეების ლოდინი რამდენიმე წუთის ფოტო-რეალისტური გრაფიკის გადასაღებად.
ტექნოლოგიის გაერთიანება არსებულ VR და AR აპლიკაციებთან, შესაძლოა, დეველოპერებსაც მიეცეთ საშუალება შექმნან უფრო ღრმა გამოცდილება.
როგორ ფიქრობთ, რა არის ნერვული რენდერაციის ნამდვილი პოტენციალი?
დატოვე პასუხი