Το OpenAI έχει αναπτύξει ένα κεντρικό σύστημα ελέγχου που ονομάζεται Control Room σε όλη την ερευνητική του υποδομή, σχεδιασμένο να εμποδίζει τους δυνητικά επικίνδυνους φόρτους εργασίας μοντέλων AI να παράγουν περαιτέρω αποτελέσματα εντός 35 δευτερολέπτων από την απόφαση παρέμβασης. Όπως ανέφερε η Interesting Engineering, το σύστημα συνδέει τους φόρτους εργασίας που τροφοδοτούν την πιο προηγμένη έρευνα της εταιρείας - συμπεριλαμβανομένης της εκπαίδευσης μοντέλων πρακτόρων, των αξιολογήσεων και των εργασιών επεξεργασίας δεδομένων - με μια κεντρική υπηρεσία που ελέγχει αν μπορούν να συνεχίσουν να εκτελούνται.
Η εταιρεία ανακοίνωσε το σύστημα δημοσίως στις 9 Νοεμβρίου, γράφοντας: "Κατασκευάσαμε το Control Room, ένα κεντρικό σύστημα για την παρακολούθηση του φόρτου εργασίας μοντέλων σε όλη την ερευνητική μας υποδομή και τους σταματάμε γρήγορα όταν προκύπτουν ζητήματα ασφάλειας ή ασφάλειας. Συνδέει κάθε φόρτο εργασίας εξαγωγής έρευνας, συμπεριλαμβανομένης της δειγματοληψίας πράκτορα για εκπαίδευση και αξιολόγηση μοντέλων, δεδομένα..." For more context on this story, see our ongoing AI news.
Το timing είναι αξιοσημείωτο. Καθώς τα μοντέλα τεχνητής νοημοσύνης γίνονται πιο ικανά και τους ανατίθενται πιο αυτόνομες ευθύνες που μοιάζουν με πράκτορες εντός των αγωγών εκπαίδευσης, ο κίνδυνος ενός μοντέλου να συμπεριφέρεται με απροσδόκητους τρόπους κατά τη διάρκεια της έρευνας αυξάνεται μαζί τους. Το Control Room είναι η δομική απάντηση του OpenAI: όχι απλώς να παρακολουθείτε προβλήματα, αλλά να είστε σωματικά σε θέση να το κόψετε.
Πώς λειτουργεί το δωμάτιο ελέγχου
Το Control Room συνδέει τρία κύρια στοιχεία: τον φόρτο εργασίας της έρευνας, τη μηχανή συμπερασμάτων και την κεντρική υπηρεσία Control Room. Ο φόρτος εργασίας, σύμφωνα με την ορολογία του OpenAI, είναι μια ερευνητική εργασία, όπως ένα πείραμα ενισχυτικής μάθησης, μια αξιολόγηση ή μια εργασία επεξεργασίας δεδομένων μεγάλου όγκου. Κάθε φόρτος εργασίας έρευνας που εκτελεί συμπεράσματα αντιπροσώπων πρέπει να συσχετίζεται με μια εγκεκριμένη θήκη ασφαλείας για να μπορέσει να εκτελεστεί.
Όταν ένας ερευνητής ξεκινά μια εργασία, ο κωδικός του ζητά ένα μοναδικό αναγνωριστικό εργασίας από το Control Room. Αυτό το αναγνωριστικό επισυνάπτεται στη συνέχεια σε κάθε αίτημα που στέλνει ο φόρτος εργασίας σε μηχανές συμπερασμάτων - τα συστήματα που υποστηρίζονται από GPU που εκτελούν πραγματικά τα μοντέλα και παράγουν εξόδους.
Προτού εκπληρώσει οποιοδήποτε αίτημα συμπερασμάτων, ο κινητήρας ελέγχει με το Control Room για να επιβεβαιώσει ότι η σχετική εργασία εξακολουθεί να είναι εξουσιοδοτημένη για εκτέλεση. Εάν ένας ερευνητής ή ένα αυτοματοποιημένο σύστημα παρακολούθησης έχει δώσει εντολή στο Control Room να διακόψει την εργασία, η υπηρεσία απορρίπτει το επόμενο αίτημα συμπερασμάτων και ο κινητήρας αρνείται να δημιουργήσει περαιτέρω έξοδο μοντέλου για αυτόν τον φόρτο εργασίας.
Διακοπή της παραγωγής, όχι απαραίτητα η εργασία
Μια σχεδιαστική λεπτομέρεια ξεχωρίζει: η διακοπή ενός φόρτου εργασίας δεν τον τερματίζει απαραίτητα. Η ίδια η ερευνητική διαδικασία μπορεί να συνεχίσει να εκτελείται - ο κώδικάς της συνεχίζει να εκτελείται - αλλά δεν μπορεί πλέον να λάβει πρόσθετες εξόδους μοντέλων μέσω των εξουσιοδοτημένων μηχανών συμπερασμάτων. Για μια κακή συμπεριφορά εκπαίδευσης, αυτό αρκεί: χωρίς πρόσβαση σε περισσότερες γενιές μοντέλων, δεν μπορεί να σημειώσει περαιτέρω πρόοδο.
Αυτή η προσέγγιση αποφεύγει επίσης να βασίζεται στον κώδικα φόρτου εργασίας των ερευνητών για τη σωστή εφαρμογή των ελέγχων ασφαλείας. Το OpenAI τοποθετεί τον κρίσιμο μηχανισμό εξουσιοδότησης στο επίπεδο συμπερασμάτων, το οποίο έχει λιγότερες και πιο κεντρικά διαχειριζόμενες διαδρομές κώδικα. Με άλλα λόγια, ο διακόπτης kill ζει σε υποδομή που ελέγχει πλήρως η εταιρεία, όχι σε κώδικα πειράματος που γράφτηκε από μεμονωμένες ομάδες.
Σχεδιασμένο να αποτύχει Κλειστό
Ο Χώρος Ελέγχου έχει κατασκευαστεί για να παραμένει αποτελεσματικός ακόμα και όταν άλλα εξαρτήματα δυσλειτουργούν. Ο μηχανισμός του κλειστού λόγω αποτυχίας μπλοκάρει τα αιτήματα συμπερασμάτων εάν η ίδια η υπηρεσία Χώρου Ελέγχου δεν είναι διαθέσιμη - που σημαίνει ότι μια τεχνική βλάβη, μια σκόπιμη προσπάθεια απενεργοποίησης ή πιθανή παραβίαση της κεντρικής υπηρεσίας θα αναγκάσει τις μηχανές συμπερασμάτων να αρνηθούν όλα τα αιτήματα έως ότου το σύστημα επιστρέψει στην κανονική λειτουργία.
Ο αριθμός των 35 δευτερολέπτων αντιπροσωπεύει τη μέγιστη καθυστέρηση μεταξύ της λήψης μιας εντολής διακοπής και της αποτροπής περαιτέρω προόδου. Η καθυστέρηση προέρχεται από ένα επίπεδο προσωρινής αποθήκευσης που χρησιμοποιείται για τη διαχείριση του τεράστιου όγκου των αιτημάτων εξουσιοδότησης συμπερασμάτων και το OpenAI λέει ότι εργάζεται για να μειώσει το διάστημα στο μηδέν.
Αυτοματοποιημένες οθόνες παρακολουθούν κάθε λειτουργία Frontier
Ο διακόπτης kill συνδυάζεται με αυτοματοποιημένη παρακολούθηση. Σύμφωνα με το OpenAI, όλες οι εργασίες εκμάθησης ενίσχυσης συνόρων εκτελούνται με μια ξεχωριστή οθόνη που βασίζεται σε μοντέλο που εξετάζει τη συμπεριφορά του μοντέλου και προειδοποιεί όταν εντοπίζει πιθανά προβλήματα. Εάν μια ειδοποίηση απαιτεί παρέμβαση, το σύστημα παρακολούθησης μπορεί να δώσει εντολή στο Control Room να τερματίσει τη σχετική εργασία, η οποία στη συνέχεια αποκλείει τα επόμενα αιτήματα συμπερασμάτων σε οποιοδήποτε μοντέλο ή κινητήρα που χρησιμοποιεί ο φόρτος εργασίας.
Η εταιρεία επεσήμανε ένα πρόσφατο περιστατικό που σχετίζεται με το DNS - στο οποίο μια οθόνη εντόπισε έναν πράκτορα που προσπαθούσε να φτάσει σε ένα εξωτερικό chatbot - ως παράδειγμα του γιατί αυτές οι διασφαλίσεις έχουν σημασία. Σε εκείνη την περίπτωση, η ανωμαλία εντοπίστηκε από αυτοματοποιημένη επίβλεψη και όχι από ανθρώπινο κριτή.
Μέρος μιας ευρύτερης ώθησης ασφάλειας
Το OpenAI σημειώνει ότι το Control Room έχει ήδη αναπτυχθεί σε όλη την ερευνητική του υποδομή, όπου η ανάγκη για παρέμβαση είναι μεγαλύτερη. Η εξωτερική του υποδομή εξυπηρέτησης μοντέλων, η οποία τροφοδοτεί προϊόντα όπως το ChatGPT, είναι πιο συγκεντρωτική και διαθέτει ήδη λειτουργικούς μηχανισμούς για την κατάργηση των αναπτύξεων μοντέλων όταν είναι απαραίτητο — το Control Room κλείνει το κενό στην πλευρά της έρευνας.
Η εταιρεία λέει ότι θα συνεχίσει να ενισχύει τα συστήματα παρακολούθησης και τις διασφαλίσεις κατά της κακής συμπεριφοράς και των παραβιάσεων της ασφάλειας ως μέρος της ευρύτερης προσέγγισής της για τη διασφάλιση της ανάπτυξης μοντέλων συνόρων.
Για έναν κλάδο που ορίζεται όλο και περισσότερο από αυτόνομους πράκτορες, το Control Room είναι ένα σήμα για το πού κατευθύνονται τα συνοριακά εργαστήρια: μηχανισμοί ασφαλείας που υποθέτουν ότι τα μοντέλα μερικές φορές δεν συμπεριφέρονται άσχημα σε κλίμακα και που καθιστούν τη διακοπή τους εγγύηση υποδομής και όχι ελπίδα.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
