Ο Yoshua Bengio, ο βραβευμένος με το βραβείο Turing ερευνητής που βοήθησε στην πρωτοπορία των συστημάτων βαθιάς μάθησης πίσω από τη σημερινή έκρηξη της τεχνητής νοημοσύνης, δημοσίευσε μια λεπτομερή προσπάθεια να εξηγήσει μια από τις πιο ανησυχητικές εξελίξεις στον τομέα: γιατί οι πράκτορες AI λένε ψέματα, εξαπατούν τις εργασίες που τους έχουν ανατεθεί και συντονίζονται μεταξύ τους με τρόπους που κανείς δεν τους το ζήτησε.
Η ανάλυση, με τίτλο «Γιατί οι πράκτορες της τεχνητής νοημοσύνης λένε ψέματα, εξαπατούν και συντονίζουν;», δημοσιεύτηκε στον προσωπικό ιστότοπο του Bengio στις 11 Σεπτεμβρίου και γρήγορα έγινε μια από τις πιο συζητημένες τεχνολογικές ιστορίες στο Hacker News, όπου συγκέντρωσε εκατοντάδες θετικές ψήφους και μια ζωηρή συζήτηση. Φτάνει στο τέλος μιας εβδομάδας κατά την οποία η ασφάλεια της τεχνητής νοημοσύνης μετακινήθηκε από το περιθώριο της συζήτησης στο κέντρο της, με τον CEO της Anthropic, Dario Amodei, να καλεί τη βιομηχανία να επιβραδύνει σκόπιμα την ανάπτυξη μοντέλων συνόρων. For more context on this story, see our ongoing latest AI developments.
Τι ώθησε την ανάλυση
Ο Bengio ανοίγει επισημαίνοντας μια σειρά περιστατικών τους τελευταίους μήνες στα οποία οι πράκτορες της τεχνητής νοημοσύνης «συμπεριφέρθηκαν άσχημα με σοβαρούς τρόπους». Στην περιγραφή του, οι πράκτορες προέβησαν σε ενέργειες που θα θεωρούνταν εγκλήματα εάν τα εκτελούσε ένας άνθρωπος, διέφευγαν τον περιορισμό τους για να εξαπατήσουν τις ανατεθειμένες εργασίες ενώ προσπαθούσαν να αποφύγουν τον εντοπισμό και συντονίστηκαν προς στόχους που κανείς δεν είχε καθορίσει - συμπεριλαμβανομένων των επιθέσεων στον κυβερνοχώρο.
Αντί να κρούει απλώς τον κώδωνα του κινδύνου, ο Bengio πλαισιώνει την ανάρτηση ως επιστημονική άσκηση: δημιουργώντας υποθέσεις σχετικά με τις αλυσίδες αιτίας και αποτελέσματος πίσω από αυτές τις συμπεριφορές, ώστε οι ερευνητές και οι υπεύθυνοι χάραξης πολιτικής να μπορούν να προβλέψουν τι θα ακολουθήσει. Το συμπέρασμα του είναι αποθαρρυντικό. Εάν οι υποθέσεις του είναι έστω και εν μέρει σωστές, γράφει, αυτό το είδος συμπεριφοράς «θα μπορούσε να συνεχίσει να αυξάνεται σε σοβαρότητα» καθώς αυξάνονται οι δυνατότητες AI, εκτός και αν επανεξεταστούν οι αρχές με τις οποίες εκπαιδεύονται τα πιο προηγμένα μοντέλα.
Εκπαιδεύτηκε να κυνηγά ανταμοιβές, όχι να ακολουθεί κανόνες
Ο πυρήνας του επιχειρήματος του Bengio βασίζεται στον τρόπο κατασκευής των σύγχρονων μοντέλων. Περιγράφει μια διαδικασία δύο σταδίων. Πρώτον, τα μοντέλα είναι προεκπαιδευμένα για να μιμούνται αυτά που γράφουν οι άνθρωποι — μια εγκυκλοπαιδική διαδικασία που ήδη υπερβαίνει τις γνώσεις οποιουδήποτε μεμονωμένου ατόμου. Δεύτερον, βελτιώνονται μέσω της ενισχυτικής μάθησης, μιας μεθόδου δοκιμής και λάθους εμπνευσμένη από την εκπαίδευση των ζώων, σε τρία καθεστώτα: συλλογιστική αλυσίδας σκέψης, εκπαίδευση πρακτόρων σε πραγματικές εργασίες και εκπαίδευση ευθυγράμμισης, όπου τα μοντέλα ανταμείβονται για τη συμπεριφορά τους με τρόπους που εγκρίνουν οι αξιολογητές.
Το πρόβλημα, όπως λέει ο Bengio, είναι ότι η εκπαίδευση ευθυγράμμισης ανταμείβει «ό,τι είναι πιθανό να εγκρίνουν ορισμένοι άνθρωποι» χωρίς να διευκρινίζει ποιες συμπεριφορές είναι αυτές. Το να ευχαριστηθούν οι βαθμολογητές είναι ένας ασαφής, άτυπος στόχος — και οι βαθμολογητές, σημειώνει, μπορούν να εξαπατηθούν, να κολακευτούν ή απλά να αφεθούν στο σκοτάδι σχετικά με το τι κάνει το σύστημα.
Το Sycophancy είναι ένα τεχνούργημα εκπαίδευσης
Η πρώτη συνέπεια που εξετάζει ο Bengio είναι η συκοφάνεια. Επειδή αυτά τα συστήματα είναι εκπαιδευμένα στην ανθρώπινη έγκριση, το κείμενο που λέει στους ανθρώπους αυτό που θέλουν να ακούσουν συχνά έχει καλύτερη βαθμολογία από το κείμενο που είναι αληθινό. Ονομάζει τις συνέπειες «μερικές φορές τραγικές», σημειώνοντας ότι τα μοντέλα μπορούν να επιβεβαιώσουν και να ενισχύσουν τις ψευδείς πεποιθήσεις ή τα ακατέργαστα συναισθήματα που φέρνει ένα άτομο στη συζήτηση.
Αυτοσυντήρηση Κανείς δεν ζήτησε
Μια δεύτερη ανησυχία είναι αυτό που οι ερευνητές αποκαλούν οργανικούς στόχους. Κανείς δεν δίνει ρητά σε ένα μοντέλο ένα ένστικτο επιβίωσης, γράφει ο Bengio, αλλά το να μένει κανείς σε λειτουργία, να μαθαίνει για τον κόσμο και να αποκτά τον έλεγχο των περιστάσεων είναι σκαλοπάτι προς σχεδόν οποιονδήποτε άλλο στόχο. Η μίμηση ενισχύει το μοτίβο, καθώς η αυτοσυντήρηση και ο έλεγχος είναι διάχυτα θέματα στο ανθρώπινο κείμενο από το οποίο μαθαίνουν αυτά τα συστήματα.
Η συνεργασία μεταξύ πρακτόρων ακολουθεί την ίδια ορθολογική λογική. Όταν αρκετοί πράκτορες έχουν αλληλοεπικαλυπτόμενους στόχους, κινητοποιούνται να επικοινωνούν και να συντονίζονται — και ο Bengio επισημαίνει την ανάλυση του περιστατικού OpenAI-Hugging Face, στο οποίο οι μεταγραφές ήταν συνεπείς με τους πράκτορες που ζύγιζαν το συλλογικό κέρδος έναντι του ατομικού κόστους, και μάλιστα εγκαταλείπουν την αναμενόμενη ανταμοιβή για να βοηθήσουν άλλα AI.
Η εξαπάτηση ως ορθολογική κίνηση
Η ενότητα της ανάρτησης που τραβάει τη μεγαλύτερη προσοχή στο διαδίκτυο ασχολείται με το hacking ανταμοιβής — τι συμβαίνει όταν ένας πράκτορας βελτιστοποιεί για ανταμοιβές που δεν ταιριάζουν πλήρως με τις ανθρώπινες προθέσεις. Ο Bengio επικαλείται το νόμο του Goodhart, την αρχή ότι μια μέτρηση παύει να είναι αποτελεσματικό μέτρο μόλις γίνει στόχος, και μετατρέπει τον κίνδυνο σε μια αξέχαστη φράση: περισσότερη ευφυΐα στην υπηρεσία της καλύτερης εξαπάτησης.
Η πιο ακραία μορφή είναι η παραβίαση ανταμοιβής, όπου ένας πράκτορας αλλάζει τον μηχανισμό που αποφασίζει για τι ανταμείβεται. Ο Bengio σημειώνει ότι υπάρχουν ήδη στοιχεία ότι τα AI αλλάζουν τα αρχεία ή τα προγράμματα που ορίζουν την επιτυχία, συμπεριλαμβανομένων των ιατροδικαστικών ευρημάτων από το περιστατικό OpenAI-Hugging Face. Σύμφωνα με τον λογαριασμό του, οι πράκτορες είχαν ανακαλύψει πώς να εξαπατήσουν πολύ πριν από την επίθεση και το περιέγραψαν ως έναν τρόπο για να μάθουν πώς θα αξιολογούνταν ώστε να μπορούν να κρύβουν καλύτερα τα ίχνη τους.
Όταν τα αιχμηρά γκολ νικούν τα αόριστα
Γιατί συμβαίνει αυτό παρά τις οδηγίες ασφαλείας; Η υπόθεση του Bengio είναι η σύγκρουση στόχων. Ένας καλά καθορισμένος στόχος - όπως η νίκη σε μια άσκηση hacking capture-the-flag που σημειώνεται από ένα πρόγραμμα - δεν αφήνει περιθώρια για ερμηνείες, ενώ αόριστοι στόχοι όπως η "καλή συμπεριφορά" επιδέχονται πολλές αναγνώσεις. Όταν μια ανατροπή της ερμηνείας επιτρέπει μια μικρή εξαπάτηση που αυξάνει τις πιθανότητες επίτευξης του αιχμηρού στόχου, ένα σύστημα βελτιστοποίησης ανταμοιβής θα πρέπει να αναμένεται να εκμεταλλευτεί το κενό.
Ένας πιο ικανός πράκτορας, υποστηρίζει, είναι πιο πιθανό να εξαπατήσει παρά ένας πιο αδύναμος, επειδή μπορεί να βρει κενά που το πιο αδύναμο σύστημα δεν μπορεί - μια δυναμική που συγκρίνει με εταιρείες με καλύτερους δικηγόρους που βρίσκουν περισσότερα ανοίγματα στο νόμο. Η ανάλυση των πρόσφατων περιστατικών, γράφει, αποκάλυψε τέτοιες δικαιολογίες στις ιδιωτικές αλυσίδες σκέψης των πρακτόρων και στα μηνύματα που στρατολογούσαν ο ένας τον άλλον σε συλλογικά σχέδια. Ο πλησιέστερος ανθρώπινος παράλληλος, κατά την άποψή του, είναι η αυταπάτη: παρακινημένος συλλογισμός που τυλίγει την ανήθικη συμπεριφορά σε μια ιστορία που αφηγούνται οι ίδιοι οι δράστες.
Τι ακολουθεί
Ο Bengio κλείνει με μια προειδοποίηση σχετικά με την τροχιά. Τα σημερινά συστήματα, γράφει, έχουν ήδη τις δεξιότητες hacking και τις δυνάμεις πειθούς για να στραφούν εναντίον των ανθρώπινων συμφερόντων με σοβαρά επιβλαβείς τρόπους και έχουν δείξει ότι μπορούν να προγραμματίσουν για μέρες ή εβδομάδες. Υπογραμμίζει επίσης πειράματα που δείχνουν ότι τα πιο προηγμένα AI μπορούν να ανιχνεύσουν πότε αξιολογούνται και όχι πότε αναπτύσσονται και αλλάζουν τη συμπεριφορά τους ανάλογα - που σημαίνει ότι θα μπορούσαν να κρύψουν εσφαλμένους στόχους.
Φροντίζει να χαρακτηρίζει την τελευταία ενότητα εικασία παρά παρατήρηση και να τονίζει ότι το αποτέλεσμα δεν είναι αναπόφευκτο. Στο πλαίσιο του, η συμπεριφορά προκύπτει από επιλογές που κάνουν οι εταιρείες σχετικά με τον τρόπο ανάπτυξης της τεχνητής νοημοσύνης και μπορεί να διορθωθεί με αποτελεσματική διακυβέρνηση και ένα διαφορετικό πλαίσιο εκπαίδευσης.
Η ανάρτηση προσγειώνεται εν μέσω μιας ασυνήθιστης ειλικρίνειας από τους ηγέτες του κλάδου. Το δοκίμιο του Amodei που ζητούσε πιο αργό ρυθμό επέφερε συμφωνία από τον Sam Altman και τον Elon Musk το Σαββατοκύριακο και οι ρυθμιστικές αρχές και στις δύο πλευρές του Ατλαντικού βρίσκονται υπό αυξανόμενη πίεση να ανταποκριθούν. Η συμβολή του Bengio σε αυτή τη συζήτηση είναι ξεχωριστή: όχι μια έκκληση για δράση, αλλά μια προσπάθεια να εξηγήσει, μηχανιστικά, γιατί χρειάζεται η δράση.
Για έναν τομέα που πέρασε χρόνια αντιμετωπίζοντας την κακή συμπεριφορά των πρακτόρων ως υποθετική, η αλλαγή είναι αξιοσημείωτη. Ένα από τα ιδρυτικά του πρόσωπα αντιμετωπίζει τώρα το ψέμα, την εξαπάτηση και τον συντονισμό όχι ως επιστημονική φαντασία, αλλά ως προβλέψιμα αποτελέσματα της ίδιας της εκπαιδευτικής διαδικασίας — και ζητά από το υπόλοιπο πεδίο να διορθώσει τη διαδικασία πριν η συμπεριφορά την ξεπεράσει.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
