Inhaltsverzeechnes[Verstoppen][Show]
Hey, wousst Dir, datt eng 3D Szen aus 2D Dateinputen a Sekonnen erstallt ka ginn mam NVIDIA's Instant NeRF neural Rendering Modell, a Fotoe vun där Szen kënnen a Millisekonnen ofgeliwwert ginn?
Et ass méiglech séier eng Sammlung vu Still Fotoen an en digitalen 3D Ëmfeld ëmzewandelen mat der Technik bekannt als inverse Rendering, déi AI erlaabt ze mimikéieren wéi d'Liicht an der aktueller Welt funktionnéiert.
Et ass ee vun den éischte Modeller vu senger Aart déi ultra-schnell neural Netzwierktraining a séier Rendering kombinéiere kann, dank enger Technik déi d'NVIDIA Fuerschungsteam entwéckelt huet déi d'Operatioun onheemlech séier ofgeschloss huet - bal direkt.
Dësen Artikel wäert NVIDIA's NeRF am-Déift ënnersichen, dorënner seng Geschwindegkeet, Benotzungsfäll an aner Faktoren.
Also, wat ass NeRF?
NeRF steet fir neural Stralungsfelder, wat op eng Technik bezitt fir eenzegaarteg Vue vu komplizéierte Szenen ze kreéieren andeems eng ënnerierdesch kontinuéierlech volumetresch Szenfunktioun mat enger klenger Unzuel vun Input Meenungen raffinéiert gëtt.
Wann eng Sammlung vun 2D Fotoen als Input gëtt, benotzen d'NVIDIA's NeRFs neural Netzwierker fir 3D Szenen ze representéieren an ze generéieren.
Eng kleng Zuel vu Fotoen aus verschiddene Wénkel ronderëm d'Géigend sinn néideg fir de neural Netz, zesumme mat der Plaz vun der Kamera an all Frame.
Wat méi séier dës Biller gemaach ginn, wat besser ass, besonnesch a Szenen mat bewegende Schauspiller oder Objeten.
D'AI-generéiert 3D Szen gëtt geschmiert wann et ze vill Bewegung während der 2D Bildopnam Prozedur ass.
Andeems Dir d'Faarf vum Liicht virauszegesinn, deen an all Richtung vun all Plaz an der 3D-Ëmfeld emanéiert, fëllt den NeRF effektiv d'Lücken aus, déi dës Donnéeën verloossen, fir dat ganzt Bild ze konstruéieren.
Zënter NeRF kann eng 3D Szen an e puer Millisekonnen generéieren nodeems hien déi richteg Inputen kritt huet, ass et déi séierst NeRF Approche bis elo.
NeRF funktionnéiert sou séier datt et quasi instantan ass, dohier säin Numm. Wann Standard 3D Representatioune wéi polygonal Meshë Vecteure Biller sinn, sinn NeRFs Bitmap Biller: si erfaassen d'Art a Weis wéi d'Liicht aus engem Objet oder an enger Szen emanéiert.
Direkt NeRF ass essentiell fir 3D wéi Digitalkameraen a JPEG-Kompressioun fir 2D Fotografie gewiescht sinn, dramatesch d'Geschwindegkeet, d'Bequemlechkeet an d'Erreeche vun 3D Capture an Deele verbessert.
Instant NeRF ka benotzt ginn fir Avataren oder souguer ganz Kuliss fir virtuell Welten ze produzéieren.
Fir Hommage un déi fréi Deeg vu Polaroid Fotoen ze bezuelen, huet d'NVIDIA Research Team e berühmte Shot vum Andy Warhol erstallt, deen eng Instant Foto gemaach huet an et an eng 3D Szen ëmgewandelt huet mat Instant NeRF.
Ass et wierklech 1,000 Mol méi séier?
Eng 3D Szen kéint Stonnen daueren ier NeRF ze kreéieren, ofhängeg vu senger Komplikatioun a Qualitéit.
AI huet de Prozess staark beschleunegt, awer et kéint nach ëmmer Stonnen daueren fir richteg ze trainéieren. Mat enger Method genannt Multi-Resolutioun Hash Kodéierung, Pionéier vun NVIDIA, reduzéiert Instant NeRF d'Renderzäiten ëm e Faktor vun 1,000.
De Tiny CUDA Neural Networks Package an den NVIDIA CUDA Toolkit goufen benotzt fir de Modell ze kreéieren. Laut NVIDIA, well et e liichte neurale Netzwierk ass, kann et op enger eenzeger NVIDIA GPU trainéiert a benotzt ginn, mat NVIDIA Tensor Core Kaarten déi mat de schnellsten Geschwindegkeete funktionnéieren.
Benotzt Case
Selbstfahrend Autoen sinn eng vun de bedeitendsten Uwendungen vun dëser Technologie. Dës Gefierer funktionnéieren haaptsächlech andeems se hir Ëmgéigend virstellen wéi se goen.
Wéi och ëmmer, de Problem mat der haiteger Technologie ass datt et knaschteg ass an e bëssen ze laang dauert.
Wéi och ëmmer, andeems Dir Instant NeRF benotzt, ass alles wat fir e selbstfahrenden Auto erfuerderlech ass fir d'Gréisst an d'Form vun realen Objeten unzeschätzen / ze verstoen ass Still Fotoen ze erfassen, se an 3D ëmzewandelen an dann dës Informatioun ze benotzen.
Et kéint nach eng aner Notzung am Metaverse oder Video spillen Produktioun Industrien.
Well Instant NeRF erlaabt Iech Avataren oder souguer ganz virtuell Welte séier ze bauen, ass dat richteg.
Bal wéineg 3D Charakter Modelléiere wier erfuerderlech well alles wat Dir maache musst ass den neurale Netzwierk ze lafen, an et géif e Charakter fir Iech generéieren.
Zousätzlech exploréiert NVIDIA nach ëmmer d'Applikatioun vun dëser Technologie fir zousätzlech Maschinnléieren-relatéiert Uwendungen.
Zum Beispill kann et benotzt ginn fir Sprooche méi präzis ze iwwersetzen wéi virdrun an den allgemengen Zweck ze verbesseren ze léieren Algorithmen déi elo fir eng méi breet Palette vun Aufgaben benotzt ginn.
Konklusioun
Vill Grafikprobleemer vertrauen op Aufgabspezifesch Datestrukture fir d'Gläichtheet oder d'Sparsitéit vum Problem ze benotzen.
Déi praktesch Léierbaséiert Alternativ, déi vum NVIDIA's Multi-Resolutioun Hash Kodéierung ugebuede gëtt, konzentréiert sech automatesch op pertinent Detail, onofhängeg vun der Aarbechtsbelaaschtung.
Fir méi ze léieren wéi d'Saachen dobannen funktionnéieren, kuckt den offiziellen GitHub Repository.
Hannerlooss eng Äntwert