Η Google παραμένει σταθερά στην πρώτη γραμμή της έρευνας για την τεχνητή νοημοσύνη, αξιοποιώντας τους τεράστιους πόρους της και απασχολώντας έναν σημαντικό αριθμό κορυφαίων μηχανικών. Ωστόσο, όσον αφορά τα μοντέλα γλώσσας, οι προσπάθειες της Google άργησαν να μπουν στο παιχνίδι.
Με τον τεχνολογικό γίγαντα Microsoft να επωφελείται ήδη από μια γόνιμη συνεργασία με το OpenAI, η Google δεν είχε άλλη επιλογή από το να καλύψει τη διαφορά.
Στο φετινό συνέδριο Google I/O, η εταιρεία ανακοίνωσε την απάντησή της στον γενετικό αγώνα εξοπλισμών τεχνητής νοημοσύνης: PaLM 2. Θα έχει αυτό το νέο μοντέλο σε επιδόσεις παράλληλα με το GPT-4 του OpenAI;
Τι είναι το PalM 2;
Το Google περιγράφει PalM 2 ως μοντέλο γλώσσας αιχμής που βελτιώνει το υπάρχον μοντέλο PaLM που ανακοινώθηκε για πρώτη φορά το 2022. Παρόμοια με άλλα μοντέλα γλώσσας, το PaLM 2 είναι σε θέση να εκτελεί διάφορες εργασίες δημιουργίας κειμένου, όπως το PaLM είναι ικανό για ένα ευρύ φάσμα εργασιών , συμπεριλαμβανομένης της απάντησης σε ερωτήσεις, της μετάφρασης κειμένου, δημιουργία κώδικα, Και πολλά άλλα.
Οι δοκιμές έδειξαν ότι το PaLM 2 παρουσιάζει ήδη σημαντικές βελτιώσεις, ξεπερνώντας τις επιδόσεις του μοντέλου PaLM ενώ χρησιμοποιεί πολύ μικρότερο αριθμό παραμέτρων.
Το PaLM 2 είναι μια οικογένεια μοντέλων
Όπως και άλλα μοντέλα γλώσσας, το έργο PaLM 2 είναι στην πραγματικότητα μια οικογένεια μοντέλων που ποικίλλουν σε μεγέθη. Η Google θα παρέχει το μοντέλο PaLM 2 σε τέσσερα μεγέθη: Gecko, Otter, Bison και Unicorn.
Η ποικιλία στα μεγέθη καθιστά εύκολη την ανάπτυξη του PaLM 2 σε διάφορες περιπτώσεις χρήσης. Για παράδειγμα, το μοντέλο Gecko είναι αρκετά ελαφρύ ώστε ολόκληρο το μοντέλο μπορεί να χωρέσει σε μια κινητή συσκευή και ακόμη και να λειτουργεί εκτός σύνδεσης.
Σύνολο δεδομένων εκπαίδευσης του PalM 2
Μία από τις πιο σημαντικές πτυχές ενός επιτυχημένου γλωσσικού μοντέλου είναι η σύνολο δεδομένων εκπαίδευσης. Το σύνολο δεδομένων εκπαίδευσης πρέπει να είναι αρκετά διαφορετικό ώστε να επιτρέπει στο μοντέλο να κατανοεί σε βάθος το αντικείμενο για το οποίο έχει σχεδιαστεί.
Για μεγάλα γλωσσικά μοντέλα (LLM), συνήθως δεν υπάρχει συγκεκριμένο θέμα στο οποίο πρέπει να εκπαιδευτεί το μοντέλο. Τα LLM έχουν κατασκευαστεί για να είναι μοντέλα γενικής χρήσης που πρέπει να είναι κατάλληλα για την εκτέλεση ενός μεγάλου αριθμού εργασιών. Αυτά τα μοντέλα χρησιμοποιούν μεγάλα σύνολα δεδομένων κειμένου που καταγράφουν μεγάλο μέρος του ιστού, καθώς και δημοσιευμένο υλικό αναφοράς, βιβλιογραφία, ακόμη και πηγαίο κώδικα.
Η κύρια διαφορά μεταξύ του συνόλου δεδομένων εκπαίδευσης του PaLM 2 και άλλων μοντέλων είναι η συμπερίληψη υψηλότερου ποσοστού μη Αγγλικών δεδομένων. Σύμφωνα με τους Τεχνική αναφορά, η επέκταση του συνόλου δεδομένων ώστε να περιλαμβάνει μη αγγλικά κείμενα εκθέτει το μοντέλο σε μια ευρύτερη ποικιλία γλωσσών και πολιτισμών.
Το μοντέλο PaLM 2 εκπαιδεύτηκε επίσης σε παράλληλα πολύγλωσσα δεδομένα για να βοηθήσει το μοντέλο να αποκτήσει τη δυνατότητα μετάφρασης από τη μια γλώσσα στην άλλη. Τα δεδομένα περιλαμβάνουν ζεύγη κειμένου όπου η μία καταχώριση είναι στα αγγλικά και η άλλη είναι ισοδύναμο κείμενο σε άλλη γλώσσα.
Ο παραπάνω πίνακας δείχνει τη γλωσσική κατανομή των πολύγλωσσων διαδικτυακών εγγράφων που χρησιμοποιούνται για την εκπαίδευση του PaLM 2.
Βασικά χαρακτηριστικά του PaLM 2
Εδώ είναι μερικοί από τους κύριους τομείς στους οποίους το PaLM 2 υπερέχει σε σύγκριση με άλλα μοντέλα γλώσσας.
Αιτιολογία
Το σύνολο δεδομένων του PaLM 2 περιλαμβάνει πηγές όπως επιστημονικές εργασίες και περιεχόμενο ιστού με μαθηματικές εκφράσεις. Αυτό δίνει στο μοντέλο βελτιωμένες ικανότητες στα μαθηματικά, την κοινή λογική συλλογιστική και τη λογική.
Οι ερευνητές εξέτασαν τις μαθηματικές συλλογιστικές ικανότητες του μοντέλου σε ερωτήσεις μαθηματικών δημοτικού και γυμνασίου, όπου δείχνει συγκρίσιμα αποτελέσματα με τις μαθηματικές δυνατότητες του GPT-4.
Κωδικοποίηση
Τα δεδομένα εκπαίδευσης του PaLM 2 του δίνουν επίσης τη δυνατότητα να δημιουργεί κώδικα σε μια ποικιλία γλωσσών προγραμματισμού. Η ομάδα του PALM 2 δημιούργησε ένα μοντέλο PaLM 2 ειδικά για κωδικοποίηση που ονομάζεται PaLM 2-S* το οποίο εκπαιδεύτηκε σε ένα πολυγλωσσικό σύνολο δεδομένων με μεγάλο αριθμό κωδικών.
Όχι μόνο το μοντέλο έχει τη δυνατότητα δημιουργίας κώδικα, αλλά μπορεί επίσης να χειριστεί εργασίες που περιλαμβάνουν πολλές γλώσσες. Για παράδειγμα, μπορείτε να ζητήσετε από το PaLM 2 να δημιουργήσει μια συνάρτηση ταξινόμησης Python που προσθέτει σχόλια γραμμή προς γραμμή στα ισπανικά.
Πολυγλωσσία
Δεδομένου ότι το μοντέλο εκπαιδεύτηκε σε ένα σύνολο δεδομένων που περιλαμβάνει περισσότερες από 100 γλώσσες, το PaLM 2 δείχνει επάρκεια στην κατανόηση, τη δημιουργία και τη μετάφραση κειμένου σε πολλές γλώσσες.
Για να δοκιμάσουν την πολυγλωσσία, οι ερευνητές δοκίμασαν το μοντέλο σε διάφορα τεστ γλωσσομάθειας σε διαφορετικές γλώσσες. Τα αποτελέσματα δείχνουν ότι όχι μόνο το PaLM 2 υπερτερεί της PaLM, αλλά πέτυχε και έναν επιτυχή βαθμό για κάθε αξιολογούμενη γλώσσα.
Το PaLM 2 δείχνει επίσης τις πολύγλωσσες δυνατότητές του με την ικανότητά του να κατανοεί ιδιωματισμούς σε διάφορες γλώσσες, να εξηγεί αστεία, να διορθώνει τυπογραφικά λάθη και μπορεί ακόμη και να μάθει πώς να μετατρέπει επίσημο κείμενο σε καθομιλουμένη συνομιλία.
Το PalM 2 Εξουσιοδοτεί τα Προϊόντα Google
Η Google εκμεταλλεύεται ήδη τις εξελίξεις του PaLM 2 ενσωματώνοντας το μοντέλο με άλλα προϊόντα.
Βάρδος
Η ικανότητα του μοντέλου να χειρίζεται πολύγλωσσες εργασίες τροφοδοτεί τώρα την Google Πείραμα Bard καθώς επεκτείνεται σε περισσότερες από 180 χώρες και περιοχές.
Ο Bard χρησιμοποιεί τώρα επίσης τις δυνατότητες κωδικοποίησης του PaLM 2 για να βοηθήσει σε εργασίες προγραμματισμού και ανάπτυξης λογισμικού, όπως η δημιουργία κώδικα και ο εντοπισμός σφαλμάτων κώδικα.
Duet AI για το Google Workspace
Η Google σχεδιάζει επίσης να προσθέσει δυνατότητες παραγωγής τεχνητής νοημοσύνης στην ομάδα εφαρμογών της στο Google Workspace. Το Gmail και τα Έγγραφα θα περιλαμβάνουν σύντομα μια λειτουργία που ονομάζεται Duet AI που θα βοηθήσει τον χρήστη να συντάξει τις απαντήσεις του και να γράψει χρησιμοποιώντας προτροπές.
Το Duet AI θα επιτρέπει επίσης στους χρήστες να δημιουργούν προσαρμοσμένα σχέδια στα Φύλλα Google για εργασίες και έργα με βάση τις προτροπές που δίνονται από τον χρήστη.
Συμπέρασμα
Η Google ελπίζει σίγουρα να κλείσει το χάσμα στην αγορά των εργαλείων γλώσσας AI με το μοντέλο γλώσσας PaLM 2. Ενώ το API του μοντέλου δεν είναι ακόμη διαθέσιμο στο κοινό, τα αποτελέσματα από την έρευνά τους δείχνουν ότι το μοντέλο είναι αρκετά ανταγωνιστικό ώστε να ταιριάζει με την απόδοση του GPT-4.
Με την υπάρχουσα βάση χρηστών της Google, έχουν σίγουρα το πλεονέκτημα της μαζικής προσαρμογής εάν το AI τους ενσωματωθεί στις υπηρεσίες τους, όπως η μηχανή αναζήτησής τους ή η σουίτα εργαλείων παραγωγικότητας.
Αφήστε μια απάντηση