Neural rendering ikaskuntza sakonean sortzen ari den teknika bat da, ordenagailu grafikoen kanalizazio klasikoa sare neuronalekin areagotzea helburu duena.
Errendatze neuronalaren algoritmo batek eszena bereko angelu desberdinak irudikatzen dituen irudi multzo bat beharko du. Ondoren, irudi hauek sare neuronal batera sartuko dira eszena bereko angelu berriak atera ditzakeen eredu bat sortzeko.
Errendatze neuronalaren atzean dagoen distira eszena fotoerrealista zehatzak zehaztasunez birsor ditzakeen konputazionalki zorrotzagoak izan daitezkeen metodo klasikoetan oinarritu beharrik gabe datza.
Errendaketa neuronalaren funtzionamenduan murgildu aurretik, errenda ditzagun klasikoaren oinarriak.
Zer da errendatze klasikoa?
Uler ditzagun lehenik errendatze klasikoan erabiltzen diren metodo tipikoak.
Errendatze klasikoa hiru dimentsioko eszena baten 2D irudia sortzeko erabiltzen diren tekniken multzoari deritzo. Irudien sintesia bezala ere ezaguna, errendatze klasikoak hainbat algoritmo erabiltzen ditu argiak objektu mota ezberdinekin nola elkarreragiten duen simulatzeko.
Esaterako, adreilu solido bat errendatzeak algoritmo-multzo jakin bat beharko du itzalaren posizioa edo hormaren alde biak zein ondo argiztatuko diren zehazteko. Era berean, argia islatzen edo errefraktatzen duten objektuek, hala nola ispilu bat, objektu distiratsu bat edo ur-masa bat, beren teknikak ere beharko dituzte.
Errendatze klasikoan, aktibo bakoitza poligono-sare batekin irudikatzen da. Gero, itzal-programa batek poligonoa erabiliko du sarrera gisa objektua nola izango den zehazteko zehaztutako argiztapena eta angelua kontuan hartuta.
Errendatze errealistak kalkulu-ahalmen askoz handiagoa beharko du, gure aktiboek sarrera gisa erabiltzeko milioika poligono izaten amaitzen baitute. Hollywoodeko superprodukzioetan ohikoa den ordenagailuz sortutako irteerak asteak edo hilabeteak behar izaten ditu errendatzeko eta milioika dolar kosta daitezke.
Izpien trazaduraren ikuspegia bereziki garestia da, azken irudiko pixel bakoitzak argi-iturritik objektura eta kamerara egiten duen ibilbidearen kalkulua eskatzen duelako.
Hardwarearen aurrerapenei esker, errendaketa grafikoa askoz ere eskuragarriago bihurtu da erabiltzaileentzat. Adibidez, azkeneko asko bideo-jokoak baimendu izpien bidezko efektuak, hala nola isla foto-errealistak eta itzalak, betiere haien hardwarea zeregina betetzen badu.
Azken GPUak (prozesatzeko unitate grafikoak) PUZak grafiko errealistak errendatzeko beharrezkoak diren kalkulu oso konplexuak kudeatzen laguntzeko bereziki eraiki dira.
Errendazio neuronalaren gorakada
Errendatze neuronalak errendatze-arazoari beste modu batean aurre egiten saiatzen da. Argiak objektuekin nola elkarreragiten duen simulatzeko algoritmoak erabili beharrean, zer gertatzen da eszena angelu jakin batetik nola begiratu behar duen ikasten duen eredu bat sortuko bagenu?
Eszena fotorealistak sortzeko lasterbide gisa pentsa dezakezu. Errendazio neuronalarekin, ez dugu argiak objektu batekin nola elkarreragiten duen kalkulatu behar, entrenamendu-datu nahikoa besterik ez dugu behar.
Ikuspegi honi esker, ikertzaileek eszena konplexuen kalitate handiko errendaketak sor ditzakete, antzeztu beharrik gabe
Zer dira eremu neuronalak?
Lehen esan bezala, 3D errendatze gehienek poligono-sareak erabiltzen dituzte objektu bakoitzaren formari eta ehundurari buruzko datuak gordetzeko.
Hala ere, eremu neuronalak ospea hartzen ari dira hiru dimentsioko objektuak irudikatzeko metodo alternatibo gisa. Poligonoen sareak ez bezala, eremu neuronalak diferentziagarriak eta jarraituak dira.
Zer esan nahi dugu eremu neuronalak diferentziagarriak direla esaten dugunean?
Neurona-eremu batetik 2D irteera bat fotorealista bihurtzeko entrenatu daiteke sare neuronalaren pisuak besterik gabe doituz.
Eremu neuronalak erabiliz, jada ez dugu argiaren fisika simulatu behar eszena bat errendatzeko. Azken errendamendua nola piztuko den jakitea orain inplizituki gordetzen da gure pisuen barruan sare neural.
Horri esker, nahiko azkar sortu ditzakegu irudi eta bideo berriak argazki edo bideo metraje gutxi batzuetatik abiatuta.
Nola entrenatu eremu neuronal bat?
Eremu neuronal baten funtzionamenduari buruzko oinarriak ezagutzen ditugunean, ikus dezagun nola ikertzaileek distira eremu neuronal bat entrenatzeko gai diren edo NeRF.
Lehenik eta behin, eszena baten ausazko koordenatuak lagin beharko ditugu eta sare neuronal batera elikatu. Ondoren, sare honek eremu-kantitateak ekoizteko gai izango dira.
Ekoiztutako eremu-kantitateak sortu nahi dugun eszenaren nahi den berreraikuntza-domeinuko lagintzat hartzen dira.
Ondoren, berreraikuntza benetako 2D irudiekin mapatu beharko dugu. Algoritmo batek berreraikuntza-errorea kalkulatuko du. Errore honek sare neuronalak gidatuko du eszena berreraikitzeko duen gaitasuna optimizatzeko.
Errendazio neuronalaren aplikazioak
Novel View Sintesia
Ikuspegi berrien sintesiak kameraren perspektibak angelu berrietatik sortzeari egiten dio erreferentzia, ikuspegi kopuru mugatu bateko datuak erabiliz.
Neurona errendatzeko teknikak datu-multzoko irudi bakoitzaren kameraren posizio erlatiboa asmatzen saiatzen dira eta datu horiek sare neuronal batera elikatzen dira.
Gero, neurona-sareak eszenaren 3D irudikapen bat sortuko du, non 3D espazioko puntu bakoitzak kolore eta dentsitate elkartu bat dituen.
NeRF-en ezarpen berri bat Google Street View ikuspegi berrien sintesia erabiltzen du erabiltzaileek mundu errealeko kokapenak arakatzeko aukera emateko, bideo bat ateratzen ari den kamera kontrolatuko balute bezala. Horri esker, turistek helmugak modu murgilgarrian arakatu ditzakete gune zehatz batera bidaiatzea erabaki aurretik.
Avatar foto-errealistak
Errendazio neuronaleko teknika aurreratuek ere avatar digital errealistagoetarako bidea ireki dezakete. Ondoren, avatar hauek hainbat roltarako erabil daitezke, hala nola, laguntzaile birtualak edo bezeroarentzako arretarako, edo erabiltzaileek beren antza txertatzeko modu gisa. bideo-joko edo errendatze simulatua.
Esate baterako, paper 2023ko martxoan argitaratutako errendatze neuronaleko teknikak erabiltzea proposatzen du bideo-metrajearen minutu batzuk igaro ondoren avatar foto-errealista bat sortzeko.
Ondorioa
Errendaketa neuronala ordenagailu grafikoen industria osoa aldatzeko ahalmena duen ikerketa-eremu zirraragarria da.
Teknologiak 3D aktiboak sortzeko sarrera-hesia jaitsi dezake. Baliteke ikusizko efektu taldeek ez dutela egun itxaron beharko grafiko errealistak minutu batzuk emateko.
Teknologia lehendik dauden VR eta AR aplikazioekin konbinatzeak garatzaileek esperientzia murgilgarriagoak sortzeko aukera ere eman dezakete.
Zein da zure ustez errendatze neuronalaren benetako potentziala?
Utzi erantzun bat