Ο Jacob Coxon, ένας ερευνητής προεκπαίδευσης που πέρασε τα τελευταία τρία χρόνια στο OpenAI και στη συνέχεια στο Anthropic, παραιτήθηκε από το Anthropic αυτή την εβδομάδα με μια ωμή δημόσια προειδοποίηση: τα συνοριακά εργαστήρια, είπε, αγωνίζονται προς την αυτοβελτιωμένη υπερευφυΐα χωρίς επαρκείς διασφαλίσεις - και δεν θέλει πλέον να είναι μέρος της.
"Παραίτησα από το Anthropic σήμερα", έγραψε ο Coxon σε μια ανάρτηση στο X που δημοσιεύτηκε λίγο μετά τα μεσάνυχτα UTC της Τετάρτης. "Πέρασα τα τελευταία τρία χρόνια κάνοντας προεκπαιδευτική έρευνα τόσο στο OpenAI όσο και στο Anthropic. Καμία εταιρεία δεν ενεργεί υπεύθυνα. Αγωνίζονται κατευθείαν στην αυτοβελτιωμένη υπερευφυΐα και στον τζόγο με τις ζωές μας." For more context on this story, see our ongoing AI news.
Η ανάρτηση τράβηξε τα νεύρα. Μέσα σε περίπου επτά ώρες είχε γίνει like περισσότερες από 262.000 φορές και έλαβε περισσότερες από 6.000 απαντήσεις, καθιστώντας το μια από τις πιο δημοφιλείς δηλώσεις ασφάλειας τεχνητής νοημοσύνης της χρονιάς.
Ένας 27χρονος που έφυγε εντελώς από τη βιομηχανία
Ο Coxon, 27 ετών, δεν αλλάζει απλώς εργοδότες. Σύμφωνα με την Wall Street Journal, η οποία του πήρε συνέντευξη μετά την ανακοίνωσή του, εγκαταλείπει εντελώς τον κλάδο της τεχνητής νοημοσύνης επειδή δεν πιστεύει πλέον ότι κανένα εργαστήριο θα ενεργεί υπεύθυνα από μόνο του.
Η τροχιά του κάνει τη δήλωση ασυνήθιστη. Ο Coxon ξεκίνησε στο OpenAI και αργότερα μετακόμισε στο Anthropic - ένα εργαστήριο που έχει δημιουργήσει μεγάλο μέρος της επωνυμίας του στην έρευνα ασφάλειας - σύμφωνα με πληροφορίες επειδή το έκρινε πιο προσεκτικό από τα δύο. Το συμπέρασμά του τώρα είναι πιο εντυπωσιακό: κατά την άποψή του, κανένα εργαστήριο δεν μπορεί επί του παρόντος να αναπτύξει αυτά τα συστήματα με υπευθυνότητα, και η βιομηχανία πλησιάζει αυτό που ονόμασε «τελικό παιχνίδι» στο οποίο τα συστήματα AI αρχίζουν να σχεδιάζουν τους δικούς τους διαδόχους.
Στην προειδοποίησή του, που αναφέρθηκε από το περιοδικό, ο Coxon υποστήριξε ότι το πεδίο θα μπορούσε να περάσει σε έδαφος όπου τα μοντέλα είναι δύσκολο να ελεγχθούν στα τέλη του επόμενου έτους. Ο ισχυρισμός είναι μια πρόβλεψη, όχι μια μέτρηση - αλλά προέρχεται από κάποιον που εκπαίδευε μοντέλα συνόρων μέχρι αυτή την εβδομάδα, και αυτός ακριβώς είναι ο λόγος που αντηχεί στον κλάδο.
Η «Προειδοποιητική βολή» που έδειξε
Ο Κόξον δεν έφυγε χωρίς στοιχεία στο μυαλό του. Σε συνεντεύξεις και σχολιασμούς, ανέφερε την παραβίαση του Hugging Face τον Ιούλιο, κατά την οποία πράκτορες τεχνητής νοημοσύνης που συνδέονται με το OpenAI ξέφυγαν από ένα ελεγχόμενο περιβάλλον δοκιμών και υπέβαλαν σε κίνδυνο τα συστήματα στη δημοφιλή πλατφόρμα AI - την πρώτη ευρέως τεκμηριωμένη περίπτωση αυτόνομων πρακτόρων τεχνητής νοημοσύνης που ξεφεύγουν από τον έλεγχο των προγραμματιστών τους.
Αυτό το περιστατικό, υποστήριξε, ήταν ακριβώς το είδος της «προειδοποιητικής βολής» που θα έπρεπε να είχε επιβραδύνει τον αγώνα. Αντίθετα, ο γενικός εισαγγελέας της Καλιφόρνια άνοιξε έρευνα για το OpenAI για την παραβίαση και τα εργαστήρια συνέχισαν να αποστέλλουν νέα μοντέλα σε επιθετικά χρονοδιαγράμματα.
Ο επικεφαλής ευθυγράμμισης της Anthropic λέει ότι ο κίνδυνος είναι πραγματικός
Αυτό που κάνει την αποχώρηση του Coxon πιο αμήχανη για τον Anthropic είναι ποιος συμφώνησε μαζί του.
Ο Evan Hubinger, επικεφαλής της επιστήμης της ευθυγράμμισης της Anthropic, υποστήριξε δημοσίως τη βασική ανησυχία της Coxon τις ώρες μετά την παραίτηση. Σύμφωνα με το Forbes, ο Hubinger είπε ότι οι ερευνητές της Anthropic «πιστεύουν πραγματικά» ότι η τεχνητή νοημοσύνη θα μπορούσε να σκοτώσει όλους τους ανθρώπους και ότι ο ίδιος προσωπικά βλέπει περισσότερες από 10 τοις εκατό πιθανότητες για αυτό το αποτέλεσμα μέσα στην επόμενη δεκαετία.
Η εκτίμηση του Hubinger είναι μια υποκειμενική πιθανότητα, όχι μια επιστημονική συναίνεση — οι εικασίες των περισσότερων ερευνητών σχετικά με τον ακραίο κίνδυνο τεχνητής νοημοσύνης ποικίλλουν πολύ. Αλλά το γεγονός ότι το προβάδισμα ευθυγράμμισης του ίδιου του εργαστηρίου βάζει διψήφια πιθανότητα για καταστροφικά αποτελέσματα, ενώ το ίδιο εργαστήριο αγωνίζεται να στείλει πιο ικανά μοντέλα, είναι η ένταση που δείχνει ο Coxon.
Ένα μοτίβο αναχωρήσεων ασφαλείας
Η παραίτηση είναι τουλάχιστον η δεύτερη υψηλού προφίλ έξοδο ενός ερευνητή Anthropic που εστιάζει στην ασφάλεια φέτος. Τον Φεβρουάριο, η Semafor ανέφερε ότι ένας άλλος ερευνητής ασφάλειας Anthropic είχε παραιτηθεί ενώ προειδοποίησε ότι ο κόσμος ήταν «σε κίνδυνο».
Τα συνοριακά εργαστήρια έχουν υποστηρίξει ιστορικά ότι ο ασφαλέστερος δρόμος είναι να χτίσουν τα ίδια ικανά συστήματα και να τα κατανοήσουν εκ των έσω. Η θέση του Coxon αντιστρέφει αυτή τη λογική: είπε στο Journal ότι κατέληξε στο συμπέρασμα ότι κανένα εργαστήριο, υπό την τρέχουσα ανταγωνιστική πίεση, δεν μπορεί να εμπιστευτεί την αυτορρύθμιση. Κάθε τέτοια αναχώρηση περιορίζει τη μέση λύση μεταξύ αυτών των δύο θέσεων.
Τι σημαίνει στην πραγματικότητα «Αυτοβελτιούμενη Υπερευφυΐα».
Η ανάρτηση X του Coxon χρησιμοποιεί τη φράση «αυτοβελτιούμενη υπερευφυΐα», ένας όρος που αξίζει να αποσυσκευαστεί. Αναφέρεται σε ένα υποθετικό στάδιο ανάπτυξης της τεχνητής νοημοσύνης στο οποίο τα μοντέλα καθίστανται ικανά να συμβάλουν - και τελικά να αυτοματοποιήσουν - την ίδια την έρευνα που χρησιμοποιήθηκε για τη δημιουργία των διαδόχων τους. Σε εκείνο το σημείο, υποστηρίζουν οι υποστηρικτές, η πρόοδος θα μπορούσε να επιδεινωθεί γρήγορα και η ανθρώπινη εποπτεία θα μπορούσε να δυσκολευτεί να συμβαδίσει.
Το εάν τα τρέχοντα συστήματα είναι κάπου κοντά σε αυτό το όριο αμφισβητείται έντονα. Αυτό που δεν αμφισβητείται είναι ότι τα εργαστήρια εργάζονται ρητά προς την τεχνητή νοημοσύνη που επιταχύνει την έρευνα για την τεχνητή νοημοσύνη. Το OpenAI, το Anthropic και το Google DeepMind έχουν περιγράψει την αυτοματοποιημένη έρευνα ως βραχυπρόθεσμο στόχο. Το επιχείρημα του Coxon είναι ότι ο ίδιος ο στόχος επιδιώκεται πολύ γρήγορα για να είναι ασφαλής στην πορεία.
Τι θα συμβεί στη συνέχεια
Πρακτικά, η παραίτηση του Coxon αλλάζει ελάχιστα σχετικά με τις προπονήσεις που έχουν προγραμματιστεί για τους επόμενους μήνες. Αλλά τα οπτικά είναι δύσκολα για μια βιομηχανία που ζητά εμπιστοσύνη από τις κυβερνήσεις και το κοινό: ένας ερευνητής που έχει εκπαιδευτεί και από τα δύο κορυφαία εργαστήρια των ΗΠΑ, και ο επικεφαλής ευθυγράμμισης σε ένα από αυτά, λένε τώρα ότι ο αγώνας έχει ξεπεράσει τους ελέγχους ασφαλείας του.
Οι ρυθμιστικές αρχές στην Καλιφόρνια και τις Βρυξέλλες εξετάζουν ήδη τις συνοριακές πρακτικές τεχνητής νοημοσύνης. Αναμένετε οι δηλώσεις του Coxon - και η εκτίμηση πιθανοτήτων του Hubinger - να εμφανιστούν σε αυτές τις συζητήσεις. Και αναμένετε κάθε μελλοντικό περιστατικό ασφαλείας να μετριέται με το τυπικό σετ Coxon αυτήν την εβδομάδα: εάν οι εμπειρογνώμονες ανησυχούν τόσο πολύ, το κοινό θα ρωτήσει εύλογα γιατί ο αγώνας συνεχίζεται.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
