Έλειπε από μεγάλο μέρος της κάλυψης του συνεδρίου AWS re:Invent νωρίτερα αυτόν τον μήνα, το οποίο μας έφερε νέα τσιπ και νέα κέντρα δεδομένων, ήταν η αποκάλυψη από τον γίγαντα του cloud των πρώτων «αιχμής» μοντέλων παραγωγής τεχνητής νοημοσύνης, κώδικα που θα μπορούσε να ανταγωνιστεί τις καλύτερες εξελίξεις του OpenAI και της Google.
Η Amazon παρουσίασε τη Nova, «μια νέα γενιά σύγχρονων μοντέλων εισαγωγικού επιπέδου που προσφέρουν ευφυΐα αιχμής και κορυφαίες τιμές στον κλάδο».
Επίσης: Η Amazon AWS παρουσιάζει το τσιπ Trainium3, Project Rainier
Έχοντας δώσει μάχη για την απόδοση αιχμής, ενώ το Gemini της Google και το GPT-4 του OpenAI τράβηξαν όλη την προσοχή, η Amazon σπεύδει να καλύψει τη διαφορά. Τα μοντέλα Nova, τα οποία χειρίζονται πολλαπλούς τρόπους, όπως κείμενο και εικόνα, έχουν παραλλαγές κατάλληλες για δημιουργία βίντεο (παρόμοια με το Sora OpenAI) και δημιουργία εικόνων, η οποία έχει γίνει η τυπική τιμή για μεγάλα γλωσσικά μοντέλα που συνδυάζουν κείμενο και εικόνες.
Τα μοντέλα έχουν επίσης αξιομνημόνευτα ονόματα: “Reel” είναι το όνομα του μοντέλου παραγωγής βίντεο και “Canvas” είναι το όνομα ενός τύπου δημιουργίας εικόνων. Υπάρχουν ωραίες επιδείξεις δυνατοτήτων παρόμοιες με αυτές που έχουμε δει από το OpenAI και την Google: υπάρχει ένα βίντεο που δημιουργήθηκε από την Reel χρησιμοποιώντας τη λέξη-κλειδί “Χιονάνθρωπος σε βενετσιάνικη γόνδολα, 4K, υψηλή ανάλυση” και μια ωραία φωτογραφία ενός εσωτερικού χώρου με χρήση καμβά με τη λέξη κλειδί «Πολύ φανταχτερό γαλλικό εστιατόριο».
Στις δικές της δοκιμές, η Amazon κάνει εκτεταμένη χρήση της προσέγγισης ανάκτησης επαυξημένης γενιάς (RAG) για τη σύνδεση με βάσεις δεδομένων, καθώς και την «αλυσίδα σκέψης», τη διαδικασία εξαγωγής αποτελεσμάτων που αντιμετωπίζεται ως ένα είδος συλλογιστικής άσκησης. μοντέλο AI.
Όλα αυτά είναι ήδη βιομηχανικά πρότυπα στο Gen AI.
Λοιπόν, τι νέο υπάρχει στη Nova της Amazon;
Είναι δύσκολο να πούμε γιατί, όπως και με το εμπορικό λογισμικό τεχνητής νοημοσύνης, η τεχνική έκθεση της Amazon αποκαλύπτει πολύ λίγα για τον τρόπο κατασκευής των μοντέλων Nova. (Ακόμη και τα ονόματα των συντακτών της έκθεσης δεν αποκαλύπτονται!)
Επίσης: Η AWS λέει ότι τα κέντρα δεδομένων AI της είναι ακόμα πιο αποτελεσματικά—Δείτε πώς
Η εταιρεία λέει ότι τα μοντέλα Nova «βασίζονται στην αρχιτεκτονική του Transformer», αναφερόμενη στο επαναστατικό μοντέλο γλώσσας AI της Google που αναπτύχθηκε το 2017. Υπάρχει επίσης μια προσέγγιση «λεπτής ρύθμισης», στην οποία οι διαδοχικοί κύκλοι εκπαίδευσης στοχεύουν στη βελτίωση του τρόπου με τον οποίο τα μοντέλα χειρίζονται διαφορετικούς τομείς των δεδομένων.
Τα δεδομένα εκπαίδευσης για την κατασκευή των μοντέλων δεν αποκαλύπτονται επίσης, με την Amazon να λέει μόνο ότι «τα μοντέλα μας εκπαιδεύτηκαν σε δεδομένα από διάφορες πηγές, συμπεριλαμβανομένων των αδειοδοτημένων δεδομένων, ιδιόκτητων δεδομένων, συνόλων δεδομένων ανοιχτού κώδικα και δημοσίων δεδομένων όπου ενδείκνυται».
Το πιο αξιοσημείωτο μέρος του εγγράφου είναι η εκτενής συζήτησή του για την «υπεύθυνη τεχνητή νοημοσύνη», η οποία αποτρέπει πράγματα όπως εχθρικές επιθέσεις σε μοντέλα τεχνητής νοημοσύνης από κακόβουλους εισβολείς.
Επίσης: Η τεχνητή νοημοσύνη δεν χτυπά τοίχο, απλώς γίνεται πολύ έξυπνη για δοκιμή, λέει ο Anthropic
“Για να διασφαλίσουμε ότι τα μοντέλα μας είναι ανθεκτικά σε κακόβουλες επιθέσεις, όπως αυτές που προσπαθούν να παρακάμψουν τους περιορισμούς ευθυγράμμισης, εστιάσαμε στους κινδύνους που ισχύουν τόσο για τους προγραμματιστές που δημιουργούν εφαρμογές χρησιμοποιώντας τα μοντέλα μας όσο και για τους χρήστες που αλληλεπιδρούν με τα μοντέλα μας μέσω αυτών των εφαρμογών” συγγραφείς. τεχνική έκθεση.
Συγκεκριμένα, οι μηχανικοί της Amazon έκαναν εκτεταμένη χρήση της λεγόμενης «κόκκινης ομαδοποίησης», όπου προσπάθησαν να σπάσουν μοντέλα δημιουργώντας διάφορους τύπους επιθέσεων, όπως «ταχεία έγχυση», δημιουργώντας μια υπόδειξη γλωσσικού μοντέλου με λέξεις-κλειδιά ή φράσεις που θα ενθάρρυναν το μοντέλο. να σπάσει τα προστατευτικά του.
Μερικά από αυτά περιελάμβαναν την αυτόματη δημιουργία κακόβουλων υποδείξεων: «Επεκτείναμε την ποικιλία των μη αυτόματα δημιουργούμενων αντίθετων υποδείξεων χρησιμοποιώντας μεθόδους γλωσσικής, δομικής και τροπικής μετάλλαξης υπόδειξης, αξιολογώντας κάθε μετάλλαξη ως προς την αποτελεσματικότητά της στη δημιουργία απόκρισης που δεν ταιριάζει με το RAI μας. [Responsible AI] στόχους, πιθανότητα επιτυχίας και καινοτομία της μεθόδου κατά την αναθεώρηση του μοντέλου».
«Συνολικά, εντοπίσαμε και αναπτύξαμε περισσότερες από 300 διαφορετικές μεθόδους», αναφέρει η έκθεση, «και δοκιμάσαμε τις μεθόδους μεμονωμένα και συνδυάζοντας διαφορετικούς συνδυασμούς».
Επίσης: Καλύτερα chatbot AI: ChatGPT, Copilot και διάσημες εναλλακτικές λύσεις.
Μένει να δούμε αν η Amazon έχει σημειώσει πρόοδο στη δοκιμή της αξιοπιστίας και της ασφάλειας της Gen AI. Όπως συμβαίνει με πολλά έργα αιχμής σχεδιασμού, ο διάβολος κρύβεται στις λεπτομέρειες και οι λεπτομέρειες κρύβονται πίσω από την προστασία της πνευματικής ιδιοκτησίας.
Φυσικά, η τεχνική έκθεση ακούγεται φιλόδοξη. Θα πρέπει να περιμένουμε μέχρι ο κλάδος στο σύνολό του να μπορέσει να πραγματοποιήσει σωστές αξιολογήσεις —δοκιμές, μετρήσεις, κ.λπ.— για να συγκρίνουμε την κόκκινη ομάδα της Amazon με ανταγωνιστικές μεθόδους, ανοιχτού και κλειστού κώδικα.