Inhaltsverzeichnis[Ausblenden][Zeigen]
Hey, wussten Sie, dass eine 3D-Szene aus 2D-Dateneingaben mit dem neuronalen Rendering-Modell Instant NeRF von NVIDIA in Sekundenschnelle erstellt werden kann und Fotos dieser Szene in Millisekunden gerendert werden können?
Es ist möglich, eine Sammlung von Standbildern schnell in eine digitale 3D-Umgebung umzuwandeln, indem die als inverses Rendering bekannte Technik verwendet wird, die es der KI ermöglicht, die Funktionsweise von Licht in der realen Welt nachzuahmen.
Es ist eines der ersten Modelle seiner Art, das ultraschnelles neuronales Netzwerktraining und schnelles Rendering kombinieren kann, dank einer Technik, die das Forschungsteam von NVIDIA entwickelt hat und die den Vorgang unglaublich schnell abschließt – fast augenblicklich.
In diesem Artikel wird NVIDIAs NeRF eingehend untersucht, einschließlich seiner Geschwindigkeit, Anwendungsfälle und anderer Faktoren.
Also was ist Nerf?
NeRF steht für Neural Radiance Fields und bezieht sich auf eine Technik zum Erstellen einzigartiger Ansichten komplizierter Szenen durch Verfeinern einer zugrunde liegenden kontinuierlichen volumetrischen Szenenfunktion unter Verwendung einer kleinen Anzahl von Eingabeansichten.
Wenn eine Sammlung von 2D-Fotos als Eingabe bereitgestellt wird, verwenden die NeRFs von NVIDIA Neuronale Netze um 3D-Szenen darzustellen und zu erzeugen.
Dafür werden eine kleine Anzahl von Fotos aus verschiedenen Blickwinkeln rund um das Gebiet benötigt neuronale Netzwerk, zusammen mit der Position der Kamera in jedem Frame.
Je früher diese Bilder gemacht werden, desto besser, besonders bei Szenen mit sich bewegenden Schauspielern oder Objekten.
Die KI-generierte 3D-Szene wird verschmiert, wenn während der 2D-Bildaufnahme zu viel Bewegung stattfindet.
Durch die Vorhersage der Farbe des Lichts, das von jedem Ort in der 3D-Umgebung in alle Richtungen ausstrahlt, füllt das NeRF effektiv die Lücken, die diese Daten hinterlassen, um das gesamte Bild zu erstellen.
Da NeRF eine 3D-Szene in wenigen Millisekunden nach Erhalt der richtigen Eingaben generieren kann, ist dies der bisher schnellste NeRF-Ansatz.
NeRF arbeitet so schnell, dass es praktisch augenblicklich ist, daher der Name. Wenn Standard-3D-Darstellungen wie Polygonnetze Vektorbilder sind, sind NeRFs Bitmap-Bilder: Sie erfassen dicht, wie Licht von einem Objekt oder innerhalb einer Szene ausgeht.
Sofortiges NeRF ist für 3D so wichtig wie Digitalkameras und die JPEG-Komprimierung für die 2D-Fotografie, was die Geschwindigkeit, den Komfort und die Reichweite der 3D-Aufnahme und -Weitergabe dramatisch verbessert.
Mit Instant NeRF können Avatare oder sogar ganze Szenerien für virtuelle Welten erstellt werden.
Als Hommage an die Anfänge der Polaroid-Fotos hat das NVIDIA-Forschungsteam eine berühmte Aufnahme von Andy Warhol nachgebaut, die ein Sofortbild aufnahm, und es mit Instant NeRF in eine 3D-Szene umgewandelt.
Ist es wirklich 1,000 Mal schneller?
Die Erstellung einer 3D-Szene vor NeRF konnte je nach Komplexität und Qualität Stunden dauern.
Die KI hat den Prozess erheblich beschleunigt, aber es kann immer noch Stunden dauern, um richtig zu trainieren. Mithilfe einer Methode namens Multi-Resolution-Hash-Codierung, die von NVIDIA entwickelt wurde, reduziert Instant NeRF die Renderzeiten um den Faktor 1,000.
Das Paket Tiny CUDA Neural Networks und das NVIDIA CUDA Toolkit wurden verwendet, um das Modell zu erstellen. Da es sich um ein leichtes neuronales Netzwerk handelt, kann es laut NVIDIA auf einer einzigen NVIDIA-GPU trainiert und verwendet werden, wobei NVIDIA Tensor Core-Karten mit den höchsten Geschwindigkeiten arbeiten.
Luftüberwachung
Selbstfahrende Autos sind eine der bedeutendsten Anwendungen dieser Technologie. Diese Fahrzeuge arbeiten größtenteils, indem sie sich ihre Umgebung vorstellen, während sie fahren.
Das Problem mit der heutigen Technologie ist jedoch, dass sie ungeschickt ist und etwas zu lange dauert.
Bei Verwendung von Instant NeRF ist jedoch alles, was erforderlich ist, damit ein selbstfahrendes Auto die Größe und Form von realen Objekten annähern/verstehen kann, Standbilder aufzunehmen, sie in 3D umzuwandeln und diese Informationen dann zu verwenden.
Es könnte noch eine andere Verwendung im Metaverse oder geben Telespiel Produktionsindustrien.
Da Sie mit Instant NeRF schnell Avatare oder sogar ganze virtuelle Welten erstellen können, ist dies wahr.
Fast wenig 3D-Charakter Eine Modellierung wäre erforderlich, da Sie lediglich das neuronale Netzwerk ausführen müssten, und es würde einen Charakter für Sie generieren.
Darüber hinaus untersucht NVIDIA weiterhin die Anwendung dieser Technologie für weitere Anwendungen im Zusammenhang mit maschinellem Lernen.
Beispielsweise kann es verwendet werden, um Sprachen genauer als zuvor zu übersetzen und den allgemeinen Zweck zu verbessern tiefe Lernen Algorithmen, die heute für ein breiteres Spektrum von Aufgaben verwendet werden.
Zusammenfassung
Viele Grafikprobleme verlassen sich auf aufgabenspezifische Datenstrukturen, um die Glätte oder Spärlichkeit des Problems zu nutzen.
Die praktische lernbasierte Alternative, die NVIDIAs Hash-Codierung mit mehreren Auflösungen bietet, konzentriert sich unabhängig von der Arbeitslast automatisch auf relevante Details.
Um mehr darüber zu erfahren, wie die Dinge im Inneren funktionieren, schauen Sie sich den offiziellen an GitHub Repository.
Hinterlassen Sie uns einen Kommentar