Neŭrala bildigo estas emerĝanta tekniko en profunda lernado kiu planas pliigi la klasikan dukton de komputila grafiko kun neŭralaj retoj.
Neŭrala bildiga algoritmo postulos aron de bildoj reprezentantaj malsamajn angulojn de la sama sceno. Tiuj bildoj tiam estos provizitaj en neŭralan reton por krei modelon kiu povas eligi novajn angulojn de la sama sceno.
La brileco malantaŭ neŭrala bildigo kuŝas en kiel ĝi povas precize rekrei detalajn fotorealismajn scenojn sen devi fidi je klasikaj metodoj kiuj povas esti pli komputile postulemaj.
Antaŭ ol plonĝi en kiel funkcias neŭrala bildigo, ni transiru la bazojn de klasika bildigo.
Kio estas Klasika Bildo?
Ni unue komprenu la tipajn metodojn uzatajn en klasika bildigo.
Klasika bildigo rilatas al la aro de teknikoj uzitaj por krei 2D bildon de tridimensia sceno. Ankaŭ konata kiel bildsintezo, klasika bildigo uzas diversajn algoritmojn por simuli kiel lumo interagas kun malsamaj specoj de objektoj.
Ekzemple, fari solidan brikon postulos apartan aron de algoritmoj por determini la pozicion de la ombro aŭ kiom bone lumigitaj ambaŭ flankoj de la muro estos. Simile, objektoj kiuj reflektas aŭ refraktas lumon, kiel ekzemple spegulo, brila objekto aŭ akvoareo, postulos siajn proprajn teknikojn ankaŭ.
En klasika bildigo, ĉiu valoraĵo estas reprezentita per plurlatera maŝo. Ombrigila programo tiam uzos la plurangulon kiel enigaĵon por determini kiel la objekto aspektos laŭ la specifita lumo kaj angulo.
Realisma bildigo postulos multe pli da komputa potenco ĉar niaj aktivoj finas havante milionojn da pluranguloj por uzi kiel enigaĵon. La komputila produktaĵo kiu estas ofta en Holivudo-furorproduktoj kutime daŭras semajnojn aŭ eĉ monatojn por bildi kaj povas kosti milionojn da dolaroj.
La radio-spurado estas aparte multekosta ĉar ĉiu pikselo en la fina bildo postulas kalkulon de la padlumo prenas de la lumfonto ĝis la objekto kaj ĝis la fotilo.
Progresoj en aparataro igis grafikan bildigon multe pli alirebla por uzantoj. Ekzemple, multaj el la plej novaj Videoludoj permesi radio-spuritajn efikojn kiel foto-realismajn reflektojn kaj ombrojn tiel longe kiel ilia aparataro estas ĝis la tasko.
La plej novaj GPU-oj (grafikaj prilaboraj unuoj) estas konstruitaj specife por helpi la CPU pritrakti la tre kompleksajn kalkulojn necesajn por fari foto-realismajn grafikojn.
La Pliiĝo de Neŭrala Izado
Neŭrala bildigo provas trakti la bildigan problemon alimaniere. Anstataŭ uzi algoritmojn por simuli kiel lumo interagas kun objektoj, kio se ni kreus modelon kiu lernas kiel sceno devus aspekti de certa angulo?
Vi povas pensi pri ĝi kiel ŝparvojo por krei fotorealismajn scenojn. Kun neŭrala bildigo, ni ne bezonas kalkuli kiel lumo interagas kun objekto, ni nur bezonas sufiĉajn trejnajn datumojn.
Ĉi tiu aliro permesas al esploristoj krei altkvalitajn bildigojn de kompleksaj scenoj sen devi rezulti
Kio estas Neŭralaj kampoj?
Kiel menciite antaŭe, la plej multaj 3D bildigoj uzas plurlaterajn maŝojn por stoki datumojn pri la formo kaj teksturo de ĉiu objekto.
Tamen, neŭralaj kampoj akiras popularecon kiel alternativa metodo de reprezentado de tridimensiaj objektoj. Male al plurlateraj maŝoj, neŭralaj kampoj estas diferencieblaj kaj kontinuaj.
Kion ni volas diri kiam ni diras, ke neŭralaj kampoj estas diferencieblaj?
2D produktaĵo de neŭrala kampo nun povas esti trejnita por iĝi fotorealisma simple alĝustigante la pezojn de la neŭrala reto.
Uzante neŭrajn kampojn, ni ne plu bezonas simuli la fizikon de lumo por fari scenon. La scio pri kiel la fina bildigo estos lumigita nun estas konservita implicite ene de la pezoj de nia Neŭra reto.
Ĉi tio permesas al ni krei novajn bildojn kaj filmetojn relative rapide el nur kelkaj fotoj aŭ videofilmoj.
Kiel Trejni Neŭralan Kampon?
Nun kiam ni scias la bazojn pri kiel funkcias neŭrala kampo, ni rigardu kiel esploristoj kapablas trejni neŭralan radian kampon aŭ NeRF.
Unue, ni devos provi la hazardajn koordinatojn de sceno kaj nutri ilin en neŭralan reton. Ĉi tiu reto tiam povos produkti kampokvantojn.
La produktitaj kampokvantoj estas konsideritaj provaĵoj de la dezirata rekonstrua domajno de la sceno kiun ni volas krei.
Ni tiam devos mapi la rekonstruon al realaj 2D bildoj. Algoritmo tiam kalkulos la rekonstruan eraron. Ĉi tiu eraro gvidos la neŭralan reton por optimumigi ĝian kapablon rekonstrui la scenon.
Aplikoj de Neŭrala Rendering
Romana Vida Sintezo
Nova vidsintezo rilatas al la tasko de kreado de fotilperspektivoj de novaj anguloj uzante datenojn de limigita nombro da perspektivoj.
Neŭralaj bildigaj teknikoj provas diveni la relativan pozicion de la fotilo por ĉiu bildo en la datumaro kaj provizi tiujn datenojn en neŭralan reton.
La neŭrala reto tiam kreos 3D reprezentadon de la sceno kie ĉiu punkto en la 3D spaco havas rilatajn koloron kaj densecon.
Nova efektivigo de NeRFoj en Google Street View uzas novan vidsintezon por permesi al uzantoj esplori realmondajn lokojn kvazaŭ ili regus fotilon prenantan vidbendon. Ĉi tio permesas al turistoj esplori cellokojn en merga maniero antaŭ ol decidi vojaĝi al specifa retejo.
Foto-realismaj avataroj
Altnivelaj teknikoj en neŭrala bildigo ankaŭ povas pavimi la vojon por pli realismaj ciferecaj avataroj. Tiuj avataroj tiam povas esti uzataj por diversaj roloj kiel virtualaj asistantoj aŭ klientservado, aŭ kiel maniero por uzantoj enigi sian similecon en videoludo aŭ simulita render.
Ekzemple, a papero publikigita en marto 2023 sugestas uzi neŭralajn bildigajn teknikojn por krei foto-realisman avataron post kelkaj minutoj da videofilmo.
konkludo
Neŭrala bildigo estas ekscita kampo de studo, kiu havas la eblecon ŝanĝi la tutan komputilan grafikan industrion.
La teknologio povus malaltigi la baron de eniro por la kreado de 3D-aktivaĵoj. Vidaj efektaj teamoj eble ne plu devos atendi tagojn por prezenti kelkajn minutojn da fotrealismaj grafikaĵoj.
Kombini la teknologion kun ekzistantaj VR kaj AR-aplikoj ankaŭ povas permesi al programistoj krei pli mergigajn spertojn.
Kio laŭ vi estas la vera potencialo por neŭrala bildigo?
Lasi Respondon