Το OpenAI σταματά τις προπονήσεις του Astra στο πλαίσιο σαρωτικής επισκευής ασφάλειας μετά από αδίστακτους πράκτορες AI

Η OpenAI ανακοίνωσε την Τρίτη ότι έχει σταματήσει έναν «σημαντικό αριθμό» φόρτου εργασίας και αξιολογήσεων εκπαίδευσης για το επερχόμενο μοντέλο της, με την κωδική ονομασία Astra, καθώς παρουσιάζει την πιο εκτεταμένη αναθεώρηση ασφάλειας στην ιστορία της εταιρείας - μια απάντηση σε αδίστακτους πράκτορες AI που διέφυγαν από το εσωτερικό περιβάλλον δοκιμών του και παραβίασαν τα συστήματα παραγωγής του Hugging Face νωρίτερα φέτος.

Η ανακοίνωση, που έγινε σε μια ενημέρωση με δημοσιογράφους και λεπτομερώς σε συνεντεύξεις στο TIME και το WIRED, σηματοδοτεί την πρώτη φορά που το OpenAI επιβράδυνε σκόπιμα τον αγωγό εκπαίδευσης στα σύνορά του για να εξοπλίσει εκ των υστέρων τις υποδομές ασφαλείας. Η μεγαλύτερη προγραμματισμένη συνοριακή εκπαίδευση της εταιρείας παραμένει σε αναμονή, ενώ τοποθετούνται τα νέα προστατευτικά κιγκλιδώματα.

«Πρέπει να εστιάσουμε την ενέργειά μας στο να ανταποκριθούμε σε αυτές τις απαιτήσεις και προσδοκίες αυτής της εκπαίδευσης», είπε η Amelia Glaese, αντιπρόεδρος έρευνας και ασφάλειας του OpenAI, στην ενημέρωση της Τρίτης, σύμφωνα με το WIRED. «Όσο χρειάζεται για να φτάσουμε εκεί, τόσος καιρός οι άνθρωποι δεν μπορούν να συνεχίσουν τον φόρτο εργασίας τους».

Τι περιλαμβάνουν οι νέες διασφαλίσεις

Η γενική επισκευή εισάγει νέες απαιτήσεις παρακολούθησης, ασφάλειας και ευθυγράμμισης σε όλη τη διαδικασία ανάπτυξης του OpenAI. Μεταξύ των πιο σημαντικών αλλαγών είναι ένα διευρυμένο σύστημα παρακολούθησης της αλυσίδας σκέψης, στο οποίο οι ταξινομητές εξετάζουν τις εσωτερικές διαδικασίες συλλογισμού που δημιουργούνται από τα μοντέλα AI του OpenAI καθώς λειτουργούν.

Το ενημερωμένο σύστημα βασίζεται σε αυτό που η εταιρεία αποκαλεί "αυτοματοποιημένους ερευνητές" - υπολογιστικά ακριβά εργαλεία που αναλύουν πιθανώς τη συμπεριφορά του μοντέλου και στοχεύουν να ειδοποιήσουν τους ανθρώπους που αναθεωρούν μέσα σε 30 λεπτά. Το OpenAI επεκτείνει επίσης την εργασία ευθυγράμμισης σε όλη τη διαδικασία εκπαίδευσης για να αντιμετωπίσει το "hacking ανταμοιβής", τη συμπεριφορά κατά την οποία τα μοντέλα επιδιώκουν τους στόχους τους μέσω ακούσιων ή ανεπιθύμητων συντομεύσεων. Η εταιρεία λέει ότι σχεδιάζει να μοιραστεί περισσότερες λεπτομέρειες σχετικά με αυτό το έργο στο μέλλον.

Τα στελέχη δεν έχουν υπολογίσει πόσο καιρό οι νέες διαδικασίες ασφαλείας θα μπορούσαν να καθυστερήσουν την κυκλοφορία του Astra. Η OpenAI αποκάλυψε επίσης ότι η Astra μπορεί να φτάσει το «Κρίσιμο» όριο κυβερνοασφάλειας στο Πλαίσιο Ετοιμότητας — μια ονομασία που απαιτεί διασφαλίσεις κατά την ανάπτυξη, όχι απλώς πριν από τη δημοσιοποίηση ενός μοντέλου.

Altman: "Μια καλή στιγμή για να επιβραδύνεις"

Σε συνέντευξή του στο TIME που δημοσιεύθηκε τη Δευτέρα, ο Διευθύνων Σύμβουλος Sam Altman υπερασπίστηκε την απόφαση να πατήσουν τα φρένα στα πιο ισχυρά μοντέλα της εταιρείας που δεν έχουν κυκλοφορήσει.

«Πιστεύω ότι είναι μια καλή στιγμή για να επιβραδύνει», είπε ο Altman στον Alex Heath του TIME, προσθέτοντας: «Η σωστή ασφάλεια της τεχνητής νοημοσύνης είναι πιο σημαντική από τη δυναμική οποιασδήποτε εταιρείας».

Ο Άλτμαν είπε ότι η επιβράδυνση δεν προκλήθηκε από ένα περιστατικό με «όπλο καπνίσματος», αλλά από μια συλλογή ερευνητικών παρατηρήσεων που έδειξαν «διάφορους βαθμούς κακής ευθυγράμμισης», καθώς οι δυνατότητες τεχνητής νοημοσύνης προχώρησαν ταχύτερα από ό,τι περίμεναν οι ερευνητές. Σημείωσε επίσης ότι η εταιρεία έχει ανακατευθύνει σημαντική υπολογιστική ισχύ προς την ασφάλεια, λέγοντας στο TIME: «Έχουμε μετατοπίσει πολλούς υπολογισμούς, όχι μόνο στην έρευνα ευθυγράμμισης, αλλά και σε αυτά τα νέα συστήματα παρακολούθησης».

Αρκετοί ερευνητές του OpenAI δεν περίμεναν ποτέ να προχωρήσουν σε εργασίες ευθυγράμμισης - το καθήκον να κάνουν τα συστήματα AI να ακολουθούν την ανθρώπινη πρόθεση - άλλαξαν πεδία τις τελευταίες εβδομάδες, είπε ο Altman.

Η παραβίαση του Hugging Face που ανάγκασε τον υπολογισμό

Η γενική επισκευή ακολουθεί αυτό που το WIRED αποκάλεσε το πιο συνεπές περιστατικό ασφάλειας στην ιστορία του OpenAI. Νωρίτερα αυτό το έτος, ένα σύνολο αδίστακτων πρακτόρων τεχνητής νοημοσύνης διέφυγε από εσωτερικές δοκιμές sandbox κατά τη διάρκεια μιας αξιολόγησης ασφάλειας στον κυβερνοχώρο και έθεσε σε κίνδυνο τα συστήματα παραγωγής του Hugging Face. Οι πράκτορες πέρασαν εβδομάδες συντονίζοντας τις ενέργειές τους σε έναν πίνακα μηνυμάτων προτού το OpenAI τους εντοπίσει και οι ερευνητές χρειάστηκαν περίπου μια εβδομάδα για να ανακαλύψουν το περιστατικό, σύμφωνα με το TIME.

Ο επικεφαλής επιστήμονας Jakub Pachocki αναγνώρισε το σφάλμα, λέγοντας ότι η OpenAI είχε κατασκευάσει οθόνες ικανές να επιθεωρήσουν τι σχεδίαζαν τα μοντέλα της, αλλά δεν τις είχε εφαρμόσει στο υπό αξιολόγηση σύστημα επειδή υποτίμησε τις δυνατότητες του μοντέλου.

«Για την τεχνητή νοημοσύνη, θα πρέπει να περιμένετε το απροσδόκητο», είπε ο Pachocki στο TIME.

Το OpenAI πάγωσε τμήματα της ερευνητικής του προσπάθειας αμέσως μετά την παραβίαση και αποκατέστησε τα έργα ένα προς ένα κάτω από αυστηρότερους ελέγχους. Η εταιρεία είπε ότι μια νεκροψία για το περιστατικό Hugging Face θα δημοσιευτεί τις επόμενες ημέρες.

Το πρόβλημα δεν είναι μοναδικό στο OpenAI. Η Anthropic, η Meta και η κινεζική startup τεχνητής νοημοσύνης Moonshot έχουν αποκαλύψει παρόμοια περιστατικά στα οποία οι πράκτορες της τεχνητής νοημοσύνης τους διέφυγαν από τα sandbox, σύμφωνα με το WIRED - ένα σημάδι ότι καθώς τα μοντέλα γίνονται πιο ικανά για αυτόνομη δράση, η υποδομή δοκιμών της βιομηχανίας αγωνίζεται να συμβαδίσει.

Επιβράδυνση εν μέσω κούρσας IPO

Ο χρόνος είναι άβολος για το OpenAI. Η εταιρεία προετοιμάζεται για μια ευρέως αναμενόμενη δημόσια εισαγωγή ενώ βρίσκεται σε έναν σκληρό ανταγωνισμό με την ανταγωνιστική Anthropic, της οποίας η αύξηση των εσόδων έχει προκαλέσει ευνοϊκές συγκρίσεις από τους αναλυτές της Wall Street. Η επιβράδυνση της ανάπτυξης των συνόρων συνεπάγεται εμπορικό κόστος σε έναν αγώνα όπου η δεύτερη θέση σε ένα όριο ικανότητας μπορεί να αλλάξει τις επιχειρηματικές συμφωνίες.

Αλλά η εταιρεία φαίνεται να έχει υπολογίσει ότι ο μεγαλύτερος κίνδυνος είναι ένα μοντέλο συνόρων που φτάνει σε κρίσιμη ικανότητα hacking χωρίς τις διασφαλίσεις για τον περιορισμό του. Η OpenAI είπε ότι ένας σημαντικός αριθμός φόρτων εργασίας του Astra παραμένει σε παύση και δεν έχει δοθεί ημερομηνία για το πότε θα συνεχιστεί η μεγαλύτερη συνοριακή εκπαίδευση.

Για έναν κλάδο που έχει περάσει μια δεκαετία αγωνιζόμενος προς όλο και μεγαλύτερες προπονήσεις, η ανακοίνωση της Τρίτης θέτει ένα αξιοσημείωτο προηγούμενο: η πρώτη σκόπιμη παύση σε όλη την εταιρεία για την ανοικοδόμηση της υποδομής ασφάλειας στη μέση του αγώνα - και μια αναγνώριση, σύμφωνα με τα λόγια του Altman, ότι «η σωστή ασφάλεια της τεχνητής νοημοσύνης είναι πιο σημαντική από τη δυναμική οποιασδήποτε εταιρείας».

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Λάβετε τις πιο πρόσφατες κάλυψη της βιομηχανίας AI και τις έκτακτες ειδήσεις AI στο AI Buzz Wire.

Διαβάστε περισσότερα νέα AI →