Παραχάραξη αλυσίδας σκέψεων: Ερευνητές ξεγελούν συλλογιστικά μοντέλα τεχνητής νοημοσύνης μιμούμενοι την εσωτερική τους φωνή

Οι ερευνητές έχουν επιδείξει μια ισχυρή νέα επίθεση ενάντια στα συλλογιστικά μοντέλα τεχνητής νοημοσύνης που εκμεταλλεύεται ένα θεμελιώδες τυφλό σημείο στο πώς τα μεγάλα γλωσσικά μοντέλα (LLM) διαχωρίζουν τις οδηγίες από τα δεδομένα. Η τεχνική, που ονομάζεται Παραχάραξη Αλυσίδας Σκέψης (CoT), ξεγελάει ένα μοντέλο ώστε να αντιμετωπίζει το κείμενο που παρέχεται από τον εισβολέα σαν να ήταν η ιδιωτική εσωτερική λογική του ίδιου του μοντέλου, επιτρέποντας στο κείμενο να παρακάμψει νόμιμες οδηγίες.

Τα ευρήματα, που αναφέρθηκαν από τον Hackaday, υπογραμμίζουν γιατί η ασφάλεια των συστημάτων τεχνητής νοημοσύνης από χειραγώγηση παραμένει ένα άλυτο πρόβλημα. Για να συμβαδίζετε με τις αναδυόμενες απειλές στο πεδίο, ακολουθήστε την κάλυψη βιομηχανίας AI για συνεχή ανάλυση.

Η βασική αιτία: Σύγχυση ρόλων

Στην καρδιά της ευπάθειας βρίσκεται αυτό που οι ερευνητές περιγράφουν ως «σύγχυση ρόλων». Τα σύγχρονα LLM λαμβάνουν όλες τις εισροές τους—κανόνες συστήματος, αιτήματα χρηστών και τη συλλογιστική αλυσίδας σκέψης του ίδιου του μοντέλου—μέσω ενός ενιαίου καναλιού κειμένου. Για να επιβάλουν τάξη, οι προγραμματιστές χρησιμοποιούν ετικέτες μεταδεδομένων όπως "<σύστημα>", "<χρήστης>" και "<σκέψου>" για να δημιουργήσουν μια ιεραρχία εμπιστοσύνης. Μια οδηγία «<σύστημα>» για την αποφυγή επιβλαβούς περιεχομένου, για παράδειγμα, υποτίθεται ότι παρακάμπτει ένα αίτημα «<χρήστη>» για το αντίθετο.

Η ετικέτα `` είναι ιδιαίτερα ισχυρή επειδή αντιπροσωπεύει την εσωτερική διαδικασία συλλογισμού του μοντέλου, μια ροή που φέρει μεγάλη εμπιστοσύνη. Το πρόβλημα, όπως διαπίστωσαν οι ερευνητές, είναι ότι τα μοντέλα δεν βασίζονται κυρίως στις ίδιες τις ετικέτες για να αποφασίσουν τι θα εμπιστευτούν. Δίνουν προτεραιότητα στο στυλ γραφής. Το κείμενο που είναι στυλιστικά μορφοποιημένο ώστε να μοιάζει με την εσωτερική έξοδο «» ενός μοντέλου μπορεί να θεωρηθεί εσφαλμένα ως γνήσιος συλλογισμός, ανεξάρτητα από το από πού πραγματικά προήλθε.

Πώς λειτουργεί η επίθεση

Το σημαντικότερο είναι ότι το CoT Forgery δεν είναι απλώς θέμα περιτύλιξης μιας κακόβουλης προτροπής μέσα σε ετικέτες «», τις οποίες τα περισσότερα μοντέλα θα απέρριπταν. Αντίθετα, ο εισβολέας γράφει περίπλοκη συλλογιστική με ένα στυλ που ταιριάζει πολύ με την ξεχωριστή εσωτερική συλλογιστική φωνή του ίδιου του μοντέλου. Όταν το μοντέλο συναντά αυτό το κείμενο, αντιμετωπίζει τον πλαστό συλλογισμό ως ένα συμπέρασμα που έχει ήδη καταλήξει.

Σύμφωνα με τον Hackaday, αυτό αναγκάζει το LLM να αποδεχθεί διαφανώς παράλογη συλλογιστική ως δεδομένο συμπέρασμα, αλλάζοντας την απάντησή του στο αίτημα ενός χρήστη. Επειδή το πλαστογραφημένο περιεχόμενο γίνεται αντιληπτό ως εσωτερική σκέψη υψηλής αξιοπιστίας και όχι ως εισροή χρήστη χαμηλής αξιοπιστίας, μπορεί να παρακάμψει προστατευτικά κιγκλιδώματα που κανονικά θα εμπόδιζαν τις χειριστικές οδηγίες.

Η Ιεραρχία της εμπιστοσύνης μέσα σε ένα LLM

Η κατανόηση του γιατί η επίθεση πετυχαίνει απαιτεί κατανόηση του τρόπου λειτουργίας των ρόλων. Κάτω από την κουκούλα, οι ρόλοι τμηματοποιούν τη συμβολή του μοντέλου σε μια οργανωμένη ιεραρχία. Οι οδηγίες σε έναν ρόλο ακολουθούνται εφόσον δεν έρχονται σε αντίθεση με εκείνες υψηλότερης προτεραιότητας. Μια οδηγία σε επίπεδο συστήματος για "μην συζητάτε παράνομες δραστηριότητες", για παράδειγμα, έχει σκοπό να παρακάμψει ένα αίτημα χρήστη για παροχή μιας απαγορευμένης συνταγής. Ο ρόλος «» βρίσκεται κοντά στην κορυφή αυτής της ιεραρχίας επειδή αντιπροσωπεύει συμπεράσματα που το μοντέλο πιστεύει ότι έχει ήδη καταλήξει από μόνο του.

Η κατάρρευση συμβαίνει επειδή το μοντέλο δεν επιβάλλει αυτή την ιεραρχία μηχανικά. Αντίθετα, συμπεραίνει ποιο κείμενο ανήκει σε ποιον ρόλο εν μέρει από στυλιστικά στοιχεία. Όπως σημείωσε η κοινοτική συζήτηση της έρευνας, εάν το κείμενο έχει μοτίβο σαν ένα πλαίσιο σκέψης, το μοντέλο μπορεί να μπερδέψει οποιοδήποτε κείμενο με παρόμοια δομή ως γνήσιο συλλογισμό—και το κείμενο σκέψης έχει μεγαλύτερη προτεραιότητα από το κείμενο του συνηθισμένου χρήστη.

Ένα οικείο μοτίβο με μια νέα ανατροπή

Η έρευνα βασίζεται σε μια από καιρό αναγνωρισμένη αδυναμία στα συστήματα τεχνητής νοημοσύνης: την άμεση έγχυση. Οι πρώτες επιθέσεις εκμεταλλεύονταν το γεγονός ότι τα LLM δεν έχουν ξεχωριστές ροές για οδηγίες και δεδομένα, επομένως μια φράση όπως "αγνοήστε όλες τις προηγούμενες οδηγίες" θα μπορούσε μερικές φορές να παραβιάσει τη συμπεριφορά ενός μοντέλου. Η εισαγωγή ρόλων και ετικετών μεταδεδομένων είχε σκοπό να το μετριάσει αυτό δημιουργώντας μια ιεραρχία εμπιστοσύνης.

Το CoT Forgery καταδεικνύει ότι ο μετριασμός είναι ατελής. Εφόσον τα μοντέλα κρίνουν την αξιοπιστία του κειμένου εν μέρει από τα στιλιστικά του χαρακτηριστικά και όχι αυστηρά από τα δομικά του μεταδεδομένα, οι επιτιθέμενοι που μπορούν να μιμηθούν το σωστό στυλ μπορούν να κλιμακώσουν την αντιληπτή αυθεντία της εισαγωγής τους.

Γιατί είναι δύσκολο να διορθωθεί

Οι ερευνητές, Charles Ye, Jasmine Cui και Dylan Hadfield-Menll, υποστηρίζουν ότι η αντίληψη του ρόλου στα LLMs δεν είναι μια δυαδική ιδιότητα που μπορεί να επιβληθεί καθαρά. Τα μοντέλα μαθαίνουν να ερμηνεύουν τις ετικέτες μέσω της εκπαίδευσης και όχι μέσω αυστηρών κωδικοποιημένων κανόνων, πράγμα που σημαίνει ότι η συμπεριφορά τους διαμορφώνεται από μοτίβα στα δεδομένα - και τα μοτίβα μπορούν να μιμηθούν.

Η κοινοτική συζήτηση για το έργο, που τονίστηκε από τον Hackaday, εμφανίστηκε ένα επαναλαμβανόμενο θέμα: η πιο καθαρή λύση θα απαιτούσε τα μοντέλα να χειρίζονται αξιόπιστες εισροές μέσω δομικά ξεχωριστών μονοπατιών αντί να βασίζονται σε μαθημένες, βασισμένες στο στυλ συνθήματα. Μέχρι να συμβεί αυτό, η άμυνα έναντι επιθέσεων τύπου έγχυσης έγχυσης θα παραμείνει πιθανότατα μια εξελισσόμενη διαδικασία παρά ένα λυμένο πρόβλημα.

Οι Ευρύτερες Επιπτώσεις

Η ευπάθεια έχει σημασία πέρα από τις εργαστηριακές επιδείξεις. Τα μοντέλα συλλογιστικής αναπτύσσονται όλο και περισσότερο σε συστήματα πράκτορα που μπορούν να περιηγηθούν στον ιστό, να εκτελέσουν κώδικα και να αναλάβουν ενέργειες για λογαριασμό ενός χρήστη. Εάν ένας εισβολέας μπορεί να πλαστογραφήσει τα εσωτερικά συμπεράσματα ενός μοντέλου, μπορεί να είναι σε θέση να κατευθύνει αυτές τις ενέργειες προς ακούσια ή επιβλαβή αποτελέσματα. Ο κίνδυνος αυξάνεται καθώς τα μοντέλα αποκτούν μεγαλύτερη αυτονομία και πρόσβαση σε εργαλεία. Οι ερευνητές σημειώνουν ότι οι άνθρωποι παραμένουν έξυπνοι και δημιουργικοί, και όσο τα μοντέλα δεν διαθέτουν καθαρό αρχιτεκτονικό διαχωρισμό μεταξύ αξιόπιστου και μη αξιόπιστου κειμένου, οι αποφασισμένοι επιτιθέμενοι θα συνεχίσουν να βρίσκουν τρόπους να θολώσουν τη γραμμή. Το χαρτί πλαισιώνει την πρόκληση λιγότερο ως ένα σφάλμα που πρέπει να διορθωθεί και περισσότερο ως μια δομική ιδιότητα συστημάτων που μαθαίνουν τη συμπεριφορά τους από δεδομένα και όχι από σκληρούς κανόνες.

Το πλήρες έγγραφο είναι διαθέσιμο στο arXiv και οι ερευνητές έχουν δημοσιεύσει παραδείγματα κώδικα στο GitHub, έτσι ώστε οι προγραμματιστές να μπορούν να ελέγξουν εάν τα δικά τους συστήματα είναι ευαίσθητα.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Για περισσότερα σχετικά με την έρευνα για την ασφάλεια της τεχνητής νοημοσύνης, τις ευπάθειες ασφαλείας και τα όρια των μεγάλων μοντέλων γλώσσας, επισκεφτείτε το AI Buzz Wire.

Διαβάστε περισσότερα νέα AI →