Spis treści[Ukryć][Pokazać]
Hej, czy wiesz, że scenę 3D można utworzyć z danych wejściowych 2D w kilka sekund za pomocą modelu renderowania neuronowego Instant NeRF firmy NVIDIA, a zdjęcia tej sceny można renderować w ciągu milisekund?
Możliwe jest szybkie przekształcenie kolekcji nieruchomych fotografii w cyfrowe środowisko 3D za pomocą techniki znanej jako renderowanie odwrócone, która umożliwia sztucznej inteligencji naśladowanie działania światła w rzeczywistym świecie.
Jest to jeden z pierwszych tego typu modeli, który może łączyć ultraszybkie trenowanie sieci neuronowych i szybkie renderowanie, dzięki opracowanej przez zespół badawczy NVIDIA technice, która umożliwia niewiarygodnie szybkie zakończenie operacji – niemal natychmiast.
W tym artykule dogłębnie przeanalizujemy NeRF firmy NVIDIA, w tym jego szybkość, przypadki użycia i inne czynniki.
Więc co jest NeRF?
NeRF oznacza pola radiacji neuronowej, co odnosi się do techniki tworzenia unikalnych widoków skomplikowanych scen poprzez udoskonalenie podstawowej funkcji ciągłej sceny wolumetrycznej przy użyciu niewielkiej liczby widoków wejściowych.
Po otrzymaniu kolekcji zdjęć 2D jako danych wejściowych, NeRF firmy NVIDIA wykorzystują sieci neuronowe do reprezentowania i generowania scen 3D.
Potrzebna jest niewielka liczba zdjęć z różnych kątów wokół obszaru sieci neuronowe, wraz z lokalizacją kamery w każdej klatce.
Im szybciej te zdjęcia zostaną zrobione, tym lepiej, zwłaszcza w scenach z poruszającymi się aktorami lub obiektami.
Scena 3D generowana przez sztuczną inteligencję zostanie rozmazana, jeśli podczas procedury przechwytywania obrazu 2D wystąpi zbyt duży ruch.
Przewidując kolor światła emanującego w każdym kierunku z dowolnego miejsca w środowisku 3D, NeRF skutecznie wypełnia luki pozostawione przez te dane, aby skonstruować cały obraz.
Ponieważ NeRF może wygenerować scenę 3D w kilka milisekund po otrzymaniu odpowiednich danych wejściowych, jest to najszybsze jak dotąd podejście NeRF.
NeRF działa tak szybko, że jest praktycznie natychmiastowy, stąd jego nazwa. Jeśli standardowe reprezentacje 3D, takie jak siatki wielokątne, są obrazami wektorowymi, NeRF są obrazami bitmapowymi: gęsto rejestrują sposób, w jaki światło emanuje z obiektu lub wewnątrz sceny.
Natychmiastowy NeRF ma zasadnicze znaczenie dla 3D, tak jak w przypadku fotografii 2D aparaty cyfrowe i kompresja JPEG, znacznie zwiększając szybkość, wygodę i zasięg przechwytywania i udostępniania w 3D.
Instant NeRF może być używany do tworzenia awatarów, a nawet całych scenerii dla wirtualnych światów.
Aby oddać hołd początkom zdjęć Polaroid, zespół badawczy NVIDIA odtworzył słynne ujęcie Andy'ego Warhola, który robi natychmiastowe zdjęcie i przekształcił je w scenę 3D za pomocą Instant NeRF.
Czy to naprawdę 1,000 razy szybsze?
Stworzenie sceny 3D przed NeRF może zająć wiele godzin, w zależności od jej złożoności i jakości.
Sztuczna inteligencja znacznie przyspieszyła ten proces, ale prawidłowe szkolenie może zająć wiele godzin. Korzystając z metody zwanej kodowaniem skrótu w wielu rozdzielczościach, zapoczątkowanej przez firmę NVIDIA, Instant NeRF skraca czas renderowania o współczynnik 1,000.
Do stworzenia modelu wykorzystano pakiet Tiny CUDA Neural Networks oraz NVIDIA CUDA Toolkit. Według NVIDIA, ponieważ jest to lekka sieć neuronowa, może być trenowana i używana na pojedynczym procesorze graficznym NVIDIA, z kartami NVIDIA Tensor Core działającymi z najszybszymi prędkościami.
Przypadek użycia
Samochody autonomiczne to jedno z najważniejszych zastosowań tej technologii. Pojazdy te w dużej mierze działają poprzez wyobrażanie sobie otoczenia podczas jazdy.
Jednak problem z dzisiejszą technologią polega na tym, że jest niezgrabna i zajmuje trochę za dużo czasu.
Jednak przy użyciu Instant NeRF wszystko, co jest wymagane, aby samochód autonomiczny mógł przybliżyć/zrozumieć rozmiar i kształt obiektów w świecie rzeczywistym, to przechwytywanie nieruchomych zdjęć, przekształcanie ich w 3D, a następnie wykorzystanie tych informacji.
W metawersie może być jeszcze inne zastosowanie lub gra wideo branże produkcyjne.
Ponieważ Instant NeRF pozwala szybko budować awatary, a nawet całe wirtualne światy, to prawda.
Prawie mało Postać 3D modelowanie byłoby wymagane, ponieważ wszystko, co musisz zrobić, to uruchomić sieć neuronową, a ona wygenerowałaby dla ciebie postać.
Ponadto NVIDIA wciąż bada zastosowanie tej technologii w dodatkowych aplikacjach związanych z uczeniem maszynowym.
Na przykład może być używany do tłumaczenia języków dokładniej niż poprzednio i poprawiania ogólnego przeznaczenia głęboka nauka algorytmy używane obecnie w szerszym zakresie zadań.
Wnioski
Wiele problemów graficznych opiera się na strukturach danych specyficznych dla zadania, aby wykorzystać płynność lub rzadkość problemu.
Praktyczna, oparta na nauce alternatywa oferowana przez wielorozdzielcze kodowanie hash firmy NVIDIA automatycznie koncentruje się na istotnych szczegółach, niezależnie od obciążenia.
Aby dowiedzieć się więcej o tym, jak wszystko działa w środku, zajrzyj do oficjalnych GitHub magazyn.
Dodaj komentarz