Përkthimi nervor është një teknikë në zhvillim në mësimin e thellë që synon të shtojë linjën klasike të grafikës kompjuterike me rrjete nervore.
Një algoritëm i interpretimit nervor do të kërkojë një grup imazhesh që përfaqësojnë kënde të ndryshme të së njëjtës skenë. Këto imazhe më pas do të futen në një rrjet nervor për të krijuar një model që mund të nxjerrë kënde të reja të së njëjtës skenë.
Shkëlqimi pas interpretimit nervor qëndron në mënyrën se si ai mund të rikrijojë me saktësi skena të detajuara fotorealiste pa pasur nevojë të mbështetet në metodat klasike që mund të jenë më të kërkuara nga ana llogaritëse.
Para se të zhytemi në mënyrën se si funksionon interpretimi nervor, le të kalojmë mbi bazat e interpretimit klasik.
Çfarë është interpretimi klasik?
Le të kuptojmë së pari metodat tipike të përdorura në interpretimin klasik.
Renderimi klasik i referohet grupit të teknikave të përdorura për të krijuar një imazh 2D të një skene tredimensionale. I njohur gjithashtu si sinteza e imazhit, interpretimi klasik përdor algoritme të ndryshme për të simuluar se si drita ndërvepron me lloje të ndryshme objektesh.
Për shembull, përpunimi i një tulle të fortë do të kërkojë një grup të veçantë algoritmesh për të përcaktuar pozicionin e hijes ose sa mirë do të jetë e ndriçuar secila anë e murit. Në mënyrë të ngjashme, objektet që reflektojnë ose thyejnë dritën, të tilla si një pasqyrë, një objekt me shkëlqim ose një trup uji, do të kërkojnë gjithashtu teknikat e tyre.
Në paraqitjen klasike, çdo aktiv përfaqësohet me një rrjetë shumëkëndëshi. Një program shader do të përdorë poligonin si hyrje për të përcaktuar se si do të duket objekti duke pasur parasysh ndriçimin dhe këndin e specifikuar.
Renditja realiste do të kërkojë shumë më tepër fuqi llogaritëse pasi që aktivet tona përfundojnë duke pasur miliona poligone për t'i përdorur si hyrje. Prodhimi i gjeneruar nga kompjuteri që është i zakonshëm në filmat e famshëm të Hollivudit zakonisht kërkon javë apo edhe muaj për t'u shfaqur dhe mund të kushtojë miliona dollarë.
Qasja e gjurmimit të rrezeve është veçanërisht e kushtueshme sepse çdo piksel në imazhin përfundimtar kërkon një llogaritje të shtegut që merr drita nga burimi i dritës te objekti dhe te kamera.
Përparimet në harduer e kanë bërë paraqitjen grafike shumë më të aksesueshme për përdoruesit. Për shembull, shumë nga më të fundit video games lejojnë efekte të gjurmuara nga rrezet, të tilla si reflektimet dhe hijet foto-realiste për sa kohë që hardueri i tyre është në nivelin e duhur.
GPU-të më të fundit (njësitë e përpunimit grafik) janë ndërtuar posaçërisht për të ndihmuar CPU-në të trajtojë llogaritjet shumë komplekse të kërkuara për të dhënë grafika foto-realiste.
Ngritja e Rendering Neural
Renderimi nervor përpiqet të trajtojë problemin e renderimit në një mënyrë tjetër. Në vend që të përdorim algoritme për të simuluar se si drita ndërvepron me objektet, po sikur të krijonim një model që mëson se si duhet të duket një skenë nga një kënd i caktuar?
Mund ta mendoni si një shkurtore për të krijuar skena fotorealiste. Me paraqitjen nervore, ne nuk kemi nevojë të llogarisim se si drita ndërvepron me një objekt, thjesht na duhen të dhëna të mjaftueshme trajnimi.
Kjo qasje i lejon studiuesit të krijojnë paraqitje me cilësi të lartë të skenave komplekse pa pasur nevojë të performojnë
Cilat janë fushat nervore?
Siç u përmend më herët, shumica e paraqitjeve 3D përdorin rrjeta poligonesh për të ruajtur të dhënat mbi formën dhe strukturën e secilit objekt.
Sidoqoftë, fushat nervore po fitojnë popullaritet si një metodë alternative e përfaqësimit të objekteve tredimensionale. Ndryshe nga rrjetat poligonale, fushat nervore janë të diferencueshme dhe të vazhdueshme.
Çfarë nënkuptojmë kur themi se fushat nervore janë të diferencueshme?
Një dalje 2D nga një fushë nervore tani mund të trajnohet për t'u bërë fotorealiste thjesht duke rregulluar peshat e rrjetit nervor.
Duke përdorur fushat nervore, nuk kemi më nevojë të simulojmë fizikën e dritës për të dhënë një skenë. Njohuria se si do të ndizet renderi përfundimtar tani ruhet në mënyrë implicite brenda peshave tona Rrjeti nervoz.
Kjo na lejon të krijojmë imazhe dhe video të reja relativisht shpejt nga vetëm një pjesë e vogël e fotografive ose pamjeve video.
Si të stërvitni një fushë nervore?
Tani që ne i dimë bazat se si funksionon një fushë nervore, le të hedhim një vështrim se si studiuesit janë në gjendje të trajnojnë një fushë të rrezatimit nervor ose NeRF.
Së pari, do të na duhet të mostrojmë koordinatat e rastësishme të një skene dhe t'i fusim ato në një rrjet nervor. Ky rrjet më pas do të jetë në gjendje të prodhojë sasi në terren.
Sasitë e prodhuara në terren konsiderohen si mostra nga domeni i dëshiruar i rindërtimit të skenës që duam të krijojmë.
Më pas do të na duhet të hartojmë rindërtimin në imazhet aktuale 2D. Një algoritëm do të llogarisë më pas gabimin e rindërtimit. Ky gabim do të drejtojë rrjetin nervor për të optimizuar aftësinë e tij për të rindërtuar skenën.
Aplikimet e Rendering Neural
Sinteza e pamjes së romanit
Sinteza e pamjes së re i referohet detyrës së krijimit të perspektivave të kamerës nga këndvështrime të reja duke përdorur të dhëna nga një numër i kufizuar këndvështrimesh.
Teknikat e interpretimit nervor përpiqen të hamendësojnë pozicionin relativ të kamerës për çdo imazh në grupin e të dhënave dhe t'i ushqejnë ato të dhëna në një rrjet nervor.
Rrjeti nervor më pas do të krijojë një paraqitje 3D të skenës ku çdo pikë në hapësirën 3D ka një ngjyrë dhe densitet të lidhur.
Një zbatim i ri i NeRF-ve në Google Street View përdor sintezën e pamjes së re për t'i lejuar përdoruesit të eksplorojnë vendndodhjet e botës reale sikur të kontrollonin një kamerë duke marrë një video. Kjo i lejon turistët të eksplorojnë destinacionet në një mënyrë gjithëpërfshirëse përpara se të vendosin të udhëtojnë në një vend specifik.
Avatarë foto-realiste
Teknikat e avancuara në interpretimin nervor gjithashtu mund të hapin rrugën për avatarë dixhitalë më realistë. Këta avatarë mund të përdoren më pas për role të ndryshme si asistentët virtualë ose shërbimi ndaj klientit, ose si një mënyrë për përdoruesit për të futur ngjashmërinë e tyre në një lojë video ose renderim i simuluar.
Për shembull, një letër botuar në mars 2023 sugjeron përdorimin e teknikave të interpretimit nervor për të krijuar një avatar foto-realist pas disa minutash filmime video.
Përfundim
Rendering nervor është një fushë emocionuese e studimit që ka potencialin për të ndryshuar të gjithë industrinë e grafikës kompjuterike.
Teknologjia mund të ulë pengesën e hyrjes për krijimin e aseteve 3D. Ekipet e efekteve vizuale mund të mos kenë më nevojë të presin ditë për të dhënë disa minuta grafika foto-realiste.
Kombinimi i teknologjisë me aplikacionet ekzistuese VR dhe AR mund t'i lejojë gjithashtu zhvilluesit të krijojnë përvoja më zhytëse.
Cili mendoni se është potenciali i vërtetë për interpretimin nervor?
Lini një Përgjigju