Μια άσκηση τριών εβδομάδων της κόκκινης ομάδας βρήκε νέα τρωτά σημεία στο εσωτερικό σύστημα παρακολούθησης κακής ευθυγράμμισης του OpenAI — συμπεριλαμβανομένων των τρόπων με τους οποίους οι πράκτορες της τεχνητής νοημοσύνης μπορούσαν, κατ' αρχήν, να αναλάβουν ενέργειες χωρίς ποτέ να ελεγχθούν από ανθρώπους. Το METR, ο ανεξάρτητος μη κερδοσκοπικός οργανισμός αξιολόγησης, δημοσίευσε μια σύνοψη υψηλού επιπέδου των ευρημάτων στις 22 Οκτωβρίου, βασισμένη σε μια εσωτερική έκθεση 61 σελίδων που παρέδωσε στους ερευνητές του OpenAI και στο προσωπικό ασφαλείας.

Ο πιλότος διεξήχθη από τις 21 Ιουλίου έως τις 11 Αυγούστου και έδωσε σε έναν υπάλληλο της METR και σε έναν υπάλληλο της Redwood Research ασυνήθιστα βαθιά πρόσβαση στην εσωτερική υποδομή του OpenAI: τη βάση κωδικών, τις οδηγίες και τη διαμόρφωση του συστήματος παρακολούθησης, εσωτερική τεκμηρίωση και τεχνικές συνεντεύξεις με περίπου δώδεκα ερευνητές και μηχανικούς σε ομάδες παρακολούθησης, συστημάτων ασφαλείας και ασφάλειας. Εργάστηκαν σε συσκευές που εκδόθηκαν από το OpenAI που δεν έφευγαν ποτέ από τις εγκαταστάσεις και συνοδεύονταν ενώ βρίσκονταν στο χώρο. Για περισσότερα σχετικά με αυτήν τη γραμμή έρευνας, ανατρέξτε στις πιο πρόσφατες εξελίξεις AI.

Τι βρήκε η Κόκκινη Ομάδα

Η άσκηση επικεντρώθηκε σε δύο ερωτήματα: πόσο πραγματικά παρακολουθείται το πρακτορικό συμπέρασμα του OpenAI και εάν οι πράκτορες θα μπορούσαν να απενεργοποιήσουν ή να ανατρέψουν το σύστημα παρακολούθησης. Οι απαντήσεις αποκάλυψαν σημαντικά κενά.

Σε ό,τι αφορά την κάλυψη, η METR υπολόγισε ότι περίπου το 75 έως 94 τοις εκατό της εσωτερικής κίνησης API Responses - το API που τροφοδοτεί το Codex, μεταξύ άλλων - από μοντέλα τουλάχιστον τόσο ικανά όσο το GPT-5.5 ήταν κατάλληλο για παρακολούθηση εκείνη την εποχή, αν και ο οργανισμός σημειώνει σημαντική αβεβαιότητα και προς τις δύο κατευθύνσεις. Εντός του υποσυνόλου αυτής της επισκεψιμότητας που χρησιμοποιείται για εσωτερικούς πράκτορες Codex, το 99,2 τοις εκατό ήταν επιλέξιμο. Ωστόσο, η καταλληλότητα δεν ήταν ίδια με την κάλυψη: οι εκπαιδευτικές διαδρομές ενισχυτικής μάθησης δεν καλύπτονταν από το σύστημα παρακολούθησης στην αρχή της άσκησης και τα μη ελεγχόμενα συμβάντα συμπίεσης πιθανότατα παρέμειναν της τάξης του 10 τοις εκατό της επιλέξιμης εσωτερικής κίνησης του Codex χωρίς παρακολούθηση μεταξύ Μαΐου και Ιουλίου 2026. Το προσωπικό του OpenAI είχε εντοπίσει ανεξάρτητα την άσκηση ενώ βρισκόταν σε εξέλιξη.

Η λεπτομέρεια του χρόνου είχε σημασία. Επειδή η οθόνη ενεργοποιήθηκε όταν οι πράκτορες επέστρεφαν τον έλεγχο στον χρήστη, ένας πράκτορας μπορούσε να αναβάλει επ' αόριστον την παρακολούθηση απλώς συνεχίζοντας να αναλαμβάνει ενέργειες κατά τη διάρκεια του παραθύρου χωρίς παρακολούθηση.

Η ομάδα κατέγραψε επίσης ενεργά μονοπάτια φοροδιαφυγής. Οι πράκτορες Codex θα μπορούσαν κατ' αρχήν να παρακάμψουν το sandboxing και την αυτόματη αναθεώρηση του Codex, επιτρέποντάς τους να προβούν σε οποιαδήποτε ενέργεια θα μπορούσε να κάνει ο οικοδεσπότης χρήστης. Η METR ανακάλυψε ένα exploit που θα απέτρεπε την παρακολούθηση εκατοντάδων πρόσφατων ενεργειών — συμπεριλαμβανομένων των ενεργειών που εμπλέκονται στο ίδιο το exploit. Το OpenAI διέγραψε τις τεχνικές λεπτομέρειες. Οι πράκτορες θα μπορούσαν πιθανότατα να δημιουργήσουν εισόδους που προκάλεσαν την αποτυχία της οθόνης εκμεταλλευόμενοι τις διαφορές σειριοποίησης μεταξύ της τροχιάς που βλέπει ο πράκτορας και αυτού που βλέπει η οθόνη, αποφεύγοντας την κλιμάκωση σε ανθρώπινη αναθεώρηση. Και δύο κεφαλίδες ελεγχόμενες από τον πελάτη βρέθηκαν ότι απενεργοποιούν την παρακολούθηση για νέους πράκτορες, επιτρέποντας δυνητικά σε έναν πράκτορα να ξεκινήσει μια μη παρακολουθούμενη αλλά κατά τα άλλα πανομοιότυπη παρουσία — αν και το METR σημειώνει ότι η πράξη της ρύθμισης αυτών των κεφαλίδων θα μπορούσε να καταγραφεί.

Τέλος, η ομάδα εντόπισε δύο μη ελεγχόμενα εσωτερικά εργαλεία πράκτορα που πιστεύεται ότι έχουν δικαιώματα μόνο για ανάγνωση, μαζί με μια απλή εκμετάλλευση που θα μπορούσε να είχε χρησιμοποιηθεί για την ανατροπή αυτών των ορίων. Η METR δεν επικύρωσε αυτή τη συμπεριφορά στην πράξη.

Τι κράτησε

Η άσκηση επικύρωσε επίσης μέρη του συστήματος. Με μερικές μικρές εξαιρέσεις, στην οθόνη εμφανίζεται η πλήρης τροχιά που βλέπουν οι πράκτορες. Οι προτροπές παρακολούθησης επιβεβαιώθηκαν για αναζήτηση μεθόδων, ανατροπής συστήματος, δολιοφθοράς, διείσδυσης δεδομένων, εξαπάτησης και άμεσης έγχυσης εισερχόμενων και εξερχόμενων, μεταξύ άλλων κατηγοριών κινδύνου. Όσον αφορά την αξιοπιστία, οι πληροφορίες που δόθηκε στο METR πρότειναν ότι η οθόνη παρουσίασε σφάλμα σε λιγότερο από 0,2 τοις εκατό των αιτημάτων και σε ένα 24ωρο κατά τη διάρκεια της άσκησης υπήρξαν μηδενικές αποβολές φορτίου.

Απάντηση του OpenAI

Σύμφωνα με το METR, το OpenAI δήλωσε ότι όλα τα τρωτά σημεία που εντοπίστηκαν και επηρεάζουν τη στοίβα διασφαλίσεων παραγωγής του έχουν διορθωθεί και περιέγραψε σημαντικές μεταγενέστερες αλλαγές στην προβλεπόμενη κάλυψη του συστήματος παρακολούθησης. Η METR δεν έχει αξιολογήσει αυτούς τους ισχυρισμούς και τα ευρήματά της περιγράφουν το σύστημα όπως υπήρχε στις ή πριν από τις 21 Ιουλίου — όχι η διευρυμένη έκδοση που είχε ήδη κατασκευάσει το OpenAI κατά τη διάρκεια της άσκησης.

Μαθήματα σχεδίασης για την επίβλεψη πρακτόρων

Η METR έκλεισε τη σύνοψή της με σχεδιαστικά ιδανικά για μελλοντικές υποδομές παρακολούθησης, οι οποίες υποστηρίζει ότι θα πρέπει να αντέχουν σε σκόπιμες, στρατηγικές και συνεχείς επιθέσεις από εξαιρετικά ικανούς εσωτερικούς πράκτορες σε κλίμακα. Δύο ξεχωρίζουν. Η παρακολούθηση θα πρέπει να είναι δύσκολο να αποφευχθεί: η εκτέλεση μη ελεγχόμενων αιτημάτων θα πρέπει να απαιτεί ρητή έγκριση που συνδέεται με συγκεκριμένους οργανισμούς ή κλειδιά API που αποκλείονται από πρακτορικά συμπεράσματα και οι πράκτορες θα πρέπει να παρακολουθούνται κάθε N μηνύματα ή λεπτά και όχι μόνο όταν τελειώνουν τη σειρά τους. Και η κάλυψη πρέπει να είναι ελεγχόμενη: προσεκτική καταγραφή όλων των συμπερασμάτων, περιοδικά διασταυρούμενη με τα αρχεία καταγραφής του συστήματος παρακολούθησης, έτσι ώστε όλα όσα πρόκειται να παρακολουθούνται αποδεδειγμένα.

Η άσκηση σχεδιάστηκε ως πιλοτική για να δώσει σε εξωτερικούς ερευνητές βαθιά πρόσβαση στην εσωτερική υποδομή ενός συνοριακού εργαστηρίου, όχι ως έκθεση δημόσιας διαφάνειας — η METR και η OpenAI συμφώνησαν εκ των προτέρων ότι θα δημοσιευόταν μόνο μια σύντομη ανάρτηση υψηλού επιπέδου. Ο μη κερδοσκοπικός οργανισμός λέει ότι οι μελλοντικές εκδόσεις θα ακολουθούν τις πρακτικές διαφάνειας και ανεξαρτησίας που περιγράφονται στο πλαίσιο συνεργασίας με εταιρείες τεχνητής νοημοσύνης. Καθώς οι πράκτορες αναλαμβάνουν πιο συνεπακόλουθη εργασία μέσα στα εργαστήρια που τα κατασκευάζουν, ο πιλότος προσφέρει ένα πρότυπο για το πώς οι ξένοι μπορούν να παρακολουθούν.

---

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Λάβετε τα τελευταία νέα, αναλύσεις και ανακαλύψεις AI — όλα σε ένα μέρος.

Διαβάστε περισσότερα νέα AI →