Η νευρωνική απόδοση είναι μια αναδυόμενη τεχνική στη βαθιά μάθηση που στοχεύει να αυξήσει την κλασική γραμμή των γραφικών υπολογιστών με νευρωνικά δίκτυα.
Ένας αλγόριθμος νευρικής απόδοσης θα απαιτήσει ένα σύνολο εικόνων που αντιπροσωπεύουν διαφορετικές γωνίες της ίδιας σκηνής. Αυτές οι εικόνες στη συνέχεια θα τροφοδοτηθούν σε ένα νευρωνικό δίκτυο για να δημιουργηθεί ένα μοντέλο που μπορεί να παράγει νέες γωνίες της ίδιας σκηνής.
Η λαμπρότητα πίσω από τη νευρωνική απόδοση έγκειται στον τρόπο με τον οποίο μπορεί να αναδημιουργήσει με ακρίβεια λεπτομερείς φωτορεαλιστικές σκηνές χωρίς να χρειάζεται να βασίζεται σε κλασικές μεθόδους που μπορεί να είναι πιο απαιτητικές υπολογιστικά.
Πριν βουτήξουμε στο πώς λειτουργεί η νευρωνική απόδοση, ας δούμε τα βασικά της κλασικής απόδοσης.
Τι είναι η κλασική απόδοση;
Ας κατανοήσουμε πρώτα τις τυπικές μεθόδους που χρησιμοποιούνται στην κλασική απόδοση.
Η κλασική απόδοση αναφέρεται στο σύνολο των τεχνικών που χρησιμοποιούνται για τη δημιουργία μιας δισδιάστατης εικόνας μιας τρισδιάστατης σκηνής. Γνωστή και ως σύνθεση εικόνας, η κλασική απόδοση χρησιμοποιεί διάφορους αλγόριθμους για να προσομοιώσει πώς αλληλεπιδρά το φως με διαφορετικούς τύπους αντικειμένων.
Για παράδειγμα, η απόδοση ενός συμπαγούς τούβλου θα απαιτήσει ένα συγκεκριμένο σύνολο αλγορίθμων για τον προσδιορισμό της θέσης της σκιάς ή πόσο καλά φωτισμένη θα είναι και οι δύο πλευρές του τοίχου. Ομοίως, αντικείμενα που αντανακλούν ή διαθλούν το φως, όπως ένας καθρέφτης, ένα γυαλιστερό αντικείμενο ή ένα σώμα νερού, θα απαιτήσουν επίσης τις δικές τους τεχνικές.
Στην κλασική απόδοση, κάθε στοιχείο αντιπροσωπεύεται με ένα πολύγωνο πλέγμα. Στη συνέχεια, ένα πρόγραμμα shader θα χρησιμοποιήσει το πολύγωνο ως είσοδο για να καθορίσει πώς θα μοιάζει το αντικείμενο δεδομένου του καθορισμένου φωτισμού και της γωνίας.
Η ρεαλιστική απόδοση θα απαιτήσει πολύ μεγαλύτερη υπολογιστική ισχύ, καθώς τα στοιχεία μας καταλήγουν να έχουν εκατομμύρια πολύγωνα για χρήση ως είσοδο. Η παραγωγή που δημιουργείται από υπολογιστή που είναι συνηθισμένη στις υπερπαραγωγές του Χόλιγουντ διαρκεί συνήθως εβδομάδες ή και μήνες για να αποδοθεί και μπορεί να κοστίσει εκατομμύρια δολάρια.
Η προσέγγιση ανίχνευσης ακτίνων είναι ιδιαίτερα δαπανηρή επειδή κάθε εικονοστοιχείο στην τελική εικόνα απαιτεί έναν υπολογισμό της διαδρομής που παίρνει το φως από την πηγή φωτός στο αντικείμενο και στην κάμερα.
Οι εξελίξεις στο υλικό έχουν κάνει την απόδοση των γραφικών πολύ πιο προσιτή για τους χρήστες. Για παράδειγμα, πολλά από τα τελευταία βιντεοπαιχνίδια επιτρέπουν εφέ ιχνηλάτησης ακτίνων, όπως φωτορεαλιστικές αντανακλάσεις και σκιές, εφόσον το υλικό τους είναι κατάλληλο για την εργασία.
Οι πιο πρόσφατες GPU (μονάδες επεξεργασίας γραφικών) έχουν κατασκευαστεί ειδικά για να βοηθούν την CPU να χειρίζεται τους εξαιρετικά περίπλοκους υπολογισμούς που απαιτούνται για την απόδοση φωτορεαλιστικών γραφικών.
Η άνοδος της νευρωνικής απόδοσης
Η νευρωνική απόδοση προσπαθεί να αντιμετωπίσει το πρόβλημα απόδοσης με διαφορετικό τρόπο. Αντί να χρησιμοποιούμε αλγόριθμους για την προσομοίωση του τρόπου με τον οποίο το φως αλληλεπιδρά με αντικείμενα, τι θα γινόταν αν δημιουργήσαμε ένα μοντέλο που μαθαίνει πώς πρέπει να φαίνεται μια σκηνή από μια συγκεκριμένη γωνία;
Μπορείτε να το σκεφτείτε ως μια συντόμευση για τη δημιουργία φωτορεαλιστικών σκηνών. Με τη νευρωνική απόδοση, δεν χρειάζεται να υπολογίσουμε πώς αλληλεπιδρά το φως με ένα αντικείμενο, απλά χρειαζόμαστε αρκετά δεδομένα εκπαίδευσης.
Αυτή η προσέγγιση επιτρέπει στους ερευνητές να δημιουργούν υψηλής ποιότητας αποδόσεις πολύπλοκων σκηνών χωρίς να χρειάζεται να εκτελέσουν
Τι είναι τα νευρωνικά πεδία;
Όπως αναφέρθηκε προηγουμένως, οι περισσότερες 3D renders χρησιμοποιούν πολύγωνα για την αποθήκευση δεδομένων σχετικά με το σχήμα και την υφή κάθε αντικειμένου.
Ωστόσο, τα νευρωνικά πεδία κερδίζουν δημοτικότητα ως εναλλακτική μέθοδος αναπαράστασης τρισδιάστατων αντικειμένων. Σε αντίθεση με τα πολύγωνα πλέγματα, τα νευρικά πεδία είναι διαφοροποιήσιμα και συνεχή.
Τι εννοούμε όταν λέμε ότι τα νευρικά πεδία είναι διαφοροποιήσιμα;
Μια δισδιάστατη έξοδος από ένα νευρωνικό πεδίο μπορεί τώρα να εκπαιδευτεί ώστε να γίνει φωτορεαλιστική ρυθμίζοντας απλά τα βάρη του νευρωνικού δικτύου.
Χρησιμοποιώντας νευρικά πεδία, δεν χρειάζεται πλέον να προσομοιώνουμε τη φυσική του φωτός για να αποδώσουμε μια σκηνή. Η γνώση για το πώς θα φωτιστεί το τελικό render αποθηκεύεται πλέον σιωπηρά μέσα στα βάρη του δικού μας νευρικό σύστημα.
Αυτό μας επιτρέπει να δημιουργήσουμε πρωτότυπες εικόνες και βίντεο σχετικά γρήγορα από λίγες μόνο φωτογραφίες ή βίντεο.
Πώς να εκπαιδεύσετε ένα νευρικό πεδίο;
Τώρα που γνωρίζουμε τα βασικά για το πώς λειτουργεί ένα νευρικό πεδίο, ας ρίξουμε μια ματιά στο πώς οι ερευνητές είναι σε θέση να εκπαιδεύσουν ένα πεδίο νευρικής ακτινοβολίας ή NeRF.
Αρχικά, θα χρειαστεί να δειγματίσουμε τις τυχαίες συντεταγμένες μιας σκηνής και να τις τροφοδοτήσουμε σε ένα νευρωνικό δίκτυο. Αυτό το δίκτυο θα μπορεί στη συνέχεια να παράγει ποσότητες πεδίου.
Οι παραγόμενες ποσότητες πεδίου θεωρούνται δείγματα από το επιθυμητό πεδίο ανακατασκευής της σκηνής που θέλουμε να δημιουργήσουμε.
Στη συνέχεια, θα χρειαστεί να αντιστοιχίσουμε την ανακατασκευή σε πραγματικές εικόνες 2D. Στη συνέχεια, ένας αλγόριθμος θα υπολογίσει το σφάλμα ανακατασκευής. Αυτό το σφάλμα θα καθοδηγήσει το νευρωνικό δίκτυο να βελτιστοποιήσει την ικανότητά του να ανακατασκευάζει τη σκηνή.
Εφαρμογές νευρωνικής απόδοσης
Σύνθεση όψης μυθιστορήματος
Η σύνθεση νέας όψης αναφέρεται στο έργο της δημιουργίας προοπτικών κάμερας από νέες οπτικές γωνίες χρησιμοποιώντας δεδομένα από περιορισμένο αριθμό προοπτικών.
Οι τεχνικές νευρωνικής απόδοσης προσπαθούν να μαντέψουν τη σχετική θέση της κάμερας για κάθε εικόνα στο σύνολο δεδομένων και να τροφοδοτήσουν αυτά τα δεδομένα σε ένα νευρωνικό δίκτυο.
Το νευρωνικό δίκτυο θα δημιουργήσει στη συνέχεια μια τρισδιάστατη αναπαράσταση της σκηνής όπου κάθε σημείο στον τρισδιάστατο χώρο έχει ένα σχετικό χρώμα και πυκνότητα.
Μια νέα εφαρμογή των NeRFs στο Google Street View χρησιμοποιεί νέα σύνθεση προβολών για να επιτρέπει στους χρήστες να εξερευνούν τοποθεσίες του πραγματικού κόσμου σαν να έλεγχαν μια κάμερα που τραβούσε ένα βίντεο. Αυτό επιτρέπει στους τουρίστες να εξερευνήσουν προορισμούς με καθηλωτικό τρόπο πριν αποφασίσουν να ταξιδέψουν σε μια συγκεκριμένη τοποθεσία.
Φωτορεαλιστικά avatars
Οι προηγμένες τεχνικές στη νευρωνική απόδοση μπορούν επίσης να ανοίξουν το δρόμο για πιο ρεαλιστικά ψηφιακά avatar. Αυτά τα είδωλα μπορούν στη συνέχεια να χρησιμοποιηθούν για διάφορους ρόλους, όπως εικονικούς βοηθούς ή εξυπηρέτηση πελατών, ή ως τρόπος για τους χρήστες να εισάγουν την ομοιότητά τους σε ένα βιντεοπαιχνιδιών ή προσομοίωση απόδοσης.
Για παράδειγμα, ένα χαρτί που δημοσιεύτηκε τον Μάρτιο του 2023 προτείνει τη χρήση τεχνικών νευρωνικής απόδοσης για τη δημιουργία ενός φωτορεαλιστικού avatar μετά από μερικά λεπτά βίντεο.
Συμπέρασμα
Η νευρωνική απόδοση είναι ένα συναρπαστικό πεδίο μελέτης που έχει τη δυνατότητα να αλλάξει ολόκληρη τη βιομηχανία γραφικών υπολογιστών.
Η τεχνολογία θα μπορούσε να μειώσει το εμπόδιο εισόδου για τη δημιουργία τρισδιάστατων στοιχείων. Οι ομάδες οπτικών εφέ μπορεί να μην χρειάζεται πλέον να περιμένουν μέρες για να αποδώσουν μερικά λεπτά φωτορεαλιστικών γραφικών.
Ο συνδυασμός της τεχνολογίας με τις υπάρχουσες εφαρμογές VR και AR μπορεί επίσης να επιτρέψει στους προγραμματιστές να δημιουργήσουν πιο καθηλωτικές εμπειρίες.
Ποια πιστεύετε ότι είναι η πραγματική δυνατότητα νευρωνικής απόδοσης;
Αφήστε μια απάντηση