Πίνακας περιεχομένων[Κρύβω][Προβολή]
Γεια σας, το ξέρατε ότι μια τρισδιάστατη σκηνή μπορεί να δημιουργηθεί από εισαγωγές δεδομένων 3D σε δευτερόλεπτα με το μοντέλο νευρωνικής απόδοσης Instant NeRF της NVIDIA και οι φωτογραφίες αυτής της σκηνής μπορούν να αποδοθούν σε χιλιοστά του δευτερολέπτου;
Είναι δυνατή η γρήγορη μετατροπή μιας συλλογής στατικών φωτογραφιών σε ψηφιακό περιβάλλον 3D χρησιμοποιώντας την τεχνική που είναι γνωστή ως αντίστροφη απόδοση, η οποία επιτρέπει στην τεχνητή νοημοσύνη να μιμείται τον τρόπο λειτουργίας του φωτός στον πραγματικό κόσμο.
Είναι ένα από τα πρώτα μοντέλα του είδους του που μπορεί να συνδυάσει εξαιρετικά γρήγορη εκπαίδευση νευρωνικών δικτύων και γρήγορη απόδοση, χάρη σε μια τεχνική που επινόησε η ερευνητική ομάδα της NVIDIA που ολοκληρώνει τη λειτουργία απίστευτα γρήγορα – σχεδόν ακαριαία.
Αυτό το άρθρο θα εξετάσει σε βάθος το NeRF της NVIDIA, συμπεριλαμβανομένης της ταχύτητας, των περιπτώσεων χρήσης και άλλων παραγόντων.
Λοιπόν, τι είναι NeRF?
Το NeRF σημαίνει πεδία νευρικής ακτινοβολίας, που αναφέρεται σε μια τεχνική για τη δημιουργία μοναδικών όψεων περίπλοκων σκηνών με τη βελτίωση μιας υποκείμενης συνεχούς ογκομετρικής συνάρτησης σκηνής χρησιμοποιώντας έναν μικρό αριθμό προβολών εισόδου.
Όταν δίνεται ως είσοδος μια συλλογή από φωτογραφίες 2D, τα NeRF της NVIDIA χρησιμοποιούν νευρωνικά δίκτυα για την αναπαράσταση και τη δημιουργία τρισδιάστατων σκηνών.
Απαιτείται ένας μικρός αριθμός φωτογραφιών από διάφορες γωνίες γύρω από την περιοχή νευρικό σύστημα, μαζί με τη θέση της κάμερας σε κάθε καρέ.
Όσο πιο γρήγορα τραβήξετε αυτές τις φωτογραφίες, τόσο το καλύτερο, ειδικά σε σκηνές με κινούμενους ηθοποιούς ή αντικείμενα.
Η τρισδιάστατη σκηνή που δημιουργείται από AI θα μουτζουρωθεί εάν υπάρχει υπερβολική κίνηση κατά τη διαδικασία λήψης 3D εικόνας.
Προβλέποντας το χρώμα του φωτός που εκπέμπεται προς κάθε κατεύθυνση από οποιαδήποτε θέση στο τρισδιάστατο περιβάλλον, το NeRF καλύπτει αποτελεσματικά τα κενά που αφήνουν αυτά τα δεδομένα για να κατασκευάσει ολόκληρη την εικόνα.
Δεδομένου ότι το NeRF μπορεί να δημιουργήσει μια τρισδιάστατη σκηνή σε μερικά χιλιοστά του δευτερολέπτου μετά τη λήψη των κατάλληλων εισόδων, είναι η πιο γρήγορη προσέγγιση NeRF μέχρι σήμερα.
Το NeRF λειτουργεί τόσο γρήγορα που είναι ουσιαστικά στιγμιαίο, εξ ου και το όνομά του. Εάν οι τυπικές 3D αναπαραστάσεις όπως τα πολυγωνικά πλέγματα είναι διανυσματικές εικόνες, τα NeRF είναι εικόνες bitmap: αποτυπώνουν πυκνά τον τρόπο με τον οποίο το φως εκπέμπεται από ένα αντικείμενο ή μέσα σε μια σκηνή.
Instant NeRF είναι ουσιαστικής σημασίας για το 3D, καθώς οι ψηφιακές φωτογραφικές μηχανές και η συμπίεση JPEG ήταν στη φωτογραφία 2D, βελτιώνοντας δραματικά την ταχύτητα, την ευκολία και την εμβέλεια της τρισδιάστατης λήψης και κοινής χρήσης.
Το Instant NeRF μπορεί να χρησιμοποιηθεί για την παραγωγή άβαταρ ή ακόμα και ολόκληρων τοπίων για εικονικούς κόσμους.
Για να αποτίσει φόρο τιμής στις πρώτες ημέρες των φωτογραφιών Polaroid, η ερευνητική ομάδα της NVIDIA αναδημιούργησε ένα διάσημο στιγμιότυπο του Andy Warhol που τραβούσε μια στιγμιαία φωτογραφία και τη μετέτρεψε σε 3D σκηνή χρησιμοποιώντας το Instant NeRF.
Είναι πραγματικά 1,000 φορές πιο γρήγορο;
Μια τρισδιάστατη σκηνή μπορεί να χρειαστεί ώρες για να δημιουργηθεί πριν από το NeRF, ανάλογα με την πολυπλοκότητα και την ποιότητά της.
Η τεχνητή νοημοσύνη επιτάχυνε πολύ τη διαδικασία, αλλά μπορεί να χρειαστούν ώρες για να εκπαιδευτεί σωστά. Χρησιμοποιώντας μια μέθοδο που ονομάζεται κωδικοποίηση κατακερματισμού πολλαπλών αναλύσεων, η οποία πρωτοστάτησε από την NVIDIA, το Instant NeRF μειώνει τους χρόνους απόδοσης κατά 1,000.
Για τη δημιουργία του μοντέλου χρησιμοποιήθηκαν το πακέτο Tiny CUDA Neural Networks και το NVIDIA CUDA Toolkit. Σύμφωνα με τη NVIDIA, επειδή είναι ένα ελαφρύ νευρωνικό δίκτυο, μπορεί να εκπαιδευτεί και να χρησιμοποιηθεί σε μια ενιαία GPU NVIDIA, με τις κάρτες NVIDIA Tensor Core να λειτουργούν με τις πιο γρήγορες ταχύτητες.
Χρήση θήκης
Τα αυτοοδηγούμενα αυτοκίνητα είναι μια από τις πιο σημαντικές εφαρμογές αυτής της τεχνολογίας. Αυτά τα οχήματα λειτουργούν σε μεγάλο βαθμό με το να φαντάζονται το περιβάλλον τους καθώς προχωρούν.
Ωστόσο, το πρόβλημα με τη σημερινή τεχνολογία είναι ότι είναι αδέξια και διαρκεί λίγο.
Ωστόσο, χρησιμοποιώντας το Instant NeRF, το μόνο που απαιτείται για ένα αυτοοδηγούμενο αυτοκίνητο για να προσεγγίσει/κατανοήσει το μέγεθος και το σχήμα αντικειμένων του πραγματικού κόσμου είναι να τραβήξει φωτογραφίες, να τις μετατρέψει σε 3D και στη συνέχεια να χρησιμοποιήσει αυτές τις πληροφορίες.
Θα μπορούσε ακόμα να υπάρχει άλλη χρήση στο μετασύμπαντο ή βιντεοπαιχνιδιών βιομηχανίες παραγωγής.
Επειδή το Instant NeRF σάς επιτρέπει να δημιουργείτε άβαταρ ή ακόμα και ολόκληρους εικονικούς κόσμους γρήγορα, αυτό είναι αλήθεια.
Σχεδόν λίγο 3D χαρακτήρας Η μοντελοποίηση θα ήταν απαραίτητη γιατί το μόνο που θα χρειαστεί να κάνετε είναι να εκτελέσετε το νευρωνικό δίκτυο και θα δημιουργήσει έναν χαρακτήρα για εσάς.
Επιπλέον, η NVIDIA εξακολουθεί να διερευνά την εφαρμογή αυτής της τεχνολογίας για πρόσθετες εφαρμογές που σχετίζονται με τη μηχανική εκμάθηση.
Για παράδειγμα, μπορεί να χρησιμοποιηθεί για τη μετάφραση γλωσσών με μεγαλύτερη ακρίβεια από ό,τι προηγουμένως και για τη βελτίωση του γενικού σκοπού βαθιά μάθηση αλγόριθμοι που χρησιμοποιούνται τώρα για ένα ευρύτερο φάσμα εργασιών.
Συμπέρασμα
Πολλά ζητήματα γραφικών βασίζονται σε δομές δεδομένων για συγκεκριμένες εργασίες για να κάνουν χρήση της ομαλότητας ή της αραιότητας του προβλήματος.
Η πρακτική εναλλακτική λύση που βασίζεται στη μάθηση που προσφέρει η κωδικοποίηση κατακερματισμού πολλαπλής ανάλυσης της NVIDIA επικεντρώνεται αυτόματα σε σχετικές λεπτομέρειες, ανεξάρτητα από τον φόρτο εργασίας.
Για να μάθετε περισσότερα σχετικά με το πώς λειτουργούν τα πράγματα στο εσωτερικό, ανατρέξτε στον επίσημο GitHub αποθήκη.
Αφήστε μια απάντηση