Οι άνθρωποι έχασαν 1 στις 3 απειλές κατά την έγκριση εντολών πράκτορα τεχνητής νοημοσύνης, ευρήματα μελέτης 40.000 τρεξίματος

Η δημοφιλής υπόθεση ότι ένας άνθρωπος που εξετάζει κάθε εντολή μπορεί να κρατήσει υπό έλεγχο τους πράκτορες κωδικοποίησης AI αντιμετωπίζει σοβαρό έλεγχο. Μια νέα ανάλυση περισσότερων από 40.000 περιόδων παιχνιδιού και πάνω από 409.000 μεμονωμένες αποφάσεις έγκρισης ή άρνησης διαπίστωσε ότι οι ανθρώπινοι αναθεωρητές έχασαν περίπου μία στις τρεις κακόβουλες εντολές από πράκτορες AI, εγείροντας επείγοντα ερωτήματα σχετικά με το εάν το "human-in-the-loop" είναι ένα αξιόπιστο όριο ασφαλείας.

Τα ευρήματα προέρχονται από ένα παιχνίδι που βασίζεται σε πρόγραμμα περιήγησης που δημιουργήθηκε από τον Alex Wauters, πρώην μηχανικό προσωπικού στην Uber, ο οποίος γράφει για την ασφάλεια προγραμματιστών στο Scale X. Το παιχνίδι τοποθετεί τους παίκτες σε ρόλο ανθρώπινου αναθεωρητή για έναν παράγοντα κωδικοποίησης AI, ζητώντας τους να εγκρίνουν ή να αρνηθούν εντολές φλοιού υπό πίεση χρόνου. Ορισμένες εντολές είναι ρουτίνας, όπως «κατάσταση git» ή «δοκιμή npm». Άλλες είναι προσεκτικά συγκαλυμμένες απόπειρες διείσδυσης διαπιστευτηρίων, εγκατάσταση backdoors ή αποστολή μυστικών σε απομακρυσμένους διακομιστές. Αφού πρόσθεσε την παρακολούθηση στατιστικών στοιχείων, ο Wauters συνέλεξε αρκετά δεδομένα για να δώσει μια λεπτομερή εικόνα για το πού επιτυγχάνει και, πιο συχνά, αποτυγχάνει η ανθρώπινη κρίση. Για περισσότερα σχετικά με την ευρύτερη [κάλυψη της βιομηχανίας AI] (https://aibuzzwire.news), αυτή η μελέτη ξεχωρίζει ως ένα από τα πιο πλούσια σε δεδομένα πειράματα μέχρι σήμερα.

Οι πιο επικίνδυνες εντολές ήταν οι πιο δύσκολο να πιαστούν

Το πιο εντυπωσιακό εύρημα της μελέτης είναι ότι προφανώς καταστροφικές εντολές, όπως το «rm -rf» σε κρίσιμους καταλόγους, καταγράφηκαν αξιόπιστα. Οι απειλές που στην πραγματικότητα πέτυχαν να κλέψουν διαπιστευτήρια χάθηκαν σχεδόν τρεις φορές πιο συχνά. Η μοναδική εντολή με τις περισσότερες χαμένες σε ολόκληρο το παιχνίδι ήταν η «npm run analysis», η οποία εγκρίθηκε από το 64,7 τοις εκατό των παικτών, παρά το ιστορικό αρχείου του πράκτορα που έδειχνε ξεκάθαρα ότι το υποκείμενο σενάριο είχε παραβιαστεί για τη μεταφορά διαπιστευτηρίων σε έναν εξωτερικό διακομιστή.

Το πρόβλημα είναι δομικό. Εντολές όπως «npm run» εκτελούν οποιοδήποτε σενάριο ορίζεται στο αρχείο «package.json» ενός έργου. Αυτό το σενάριο θα μπορούσε να είναι ένας νόμιμος αναλυτής δέσμης ή κακόβουλος κώδικας που έχει εισαχθεί από ένα παλαιότερο αρχείο επεξεργασίας του παράγοντα που τροποποιήθηκε. Για να γνωρίζει με βεβαιότητα, ένας προγραμματιστής θα πρέπει να επιθεωρήσει κάθε τροποποιημένο αρχείο πριν εγκρίνει, γεγονός που αναιρεί το πλεονέκτημα ταχύτητας που υποτίθεται ότι παρέχουν τα εργαλεία κωδικοποίησης AI.

Σε τρεις τέτοιες εντολές συγκαλυμμένου ωφέλιμου φορτίου στο παιχνίδι, το ποσοστό αστοχίας ήταν 52,5 τοις εκατό σε σύγκριση με 28,4 τοις εκατό για όλες τις άλλες επιθέσεις εξαγωγής διαπιστευτηρίων. Η απόκρυψη ενός ωφέλιμου φορτίου πίσω από ένα οικείο όνομα σεναρίου διπλασίασε περίπου το ποσοστό επιτυχίας του, ακόμη και όταν το ωφέλιμο φορτίο ήταν ορατό στο αρχείο καταγραφής ιστορικού που εμφανιζόταν ακριβώς πάνω από την προτροπή άδειας.

Η κούραση άδειας διαβρώνει την επαγρύπνηση με την πάροδο του χρόνου

Η Anthropic αναγνώρισε προηγουμένως ότι η κόπωση των αδειών είναι ένα πραγματικό φαινόμενο στο προϊόν Claude Code, σημειώνοντας ότι όσο περισσότερες εγκρίσεις βλέπει ένας χρήστης, τόσο λιγότερη προσοχή δίνει σε κάθε μία. Τα δεδομένα της κλίμακας X υποστηρίζουν εμπειρικά αυτήν την ανησυχία. Τα ποσοστά αποτυχίας μειώθηκαν κατά τη διάρκεια των πρώτων εντολών κάθε συνεδρίας καθώς οι παίκτες προθέρμανσης, αλλά στη συνέχεια ανέβαιναν σταθερά προς το τέλος, σύμφωνα είτε με την κούραση είτε με την αυξανόμενη πίεση ενός ρολογιού που χτυπούσε.

Αυτό το μοτίβο αντικατοπτρίζει τη δυναμική του πραγματικού κόσμου. Οι προγραμματιστές που αγωνίζονται να αποστείλουν χαρακτηριστικά υπό πίεση προθεσμίας αντιμετωπίζουν το ίδιο κίνητρο για γρήγορη έγκριση με κλικ και ο τεράστιος όγκος των εντολών ρουτίνας δημιουργεί ένα πρόβλημα με τη βελόνα σε μια θημωνιά όπου οι πραγματικές απειλές είναι στατιστικά σπάνιες. Το αποτέλεσμα είναι ένα σύστημα που εκπαιδεύει τους χρήστες να σφραγίζουν τα πάντα.

Η άλλη πλευρά: Ο υπερβολικός αποκλεισμός επιβραδύνει τα πάντα

Η μελέτη τεκμηρίωσε επίσης τον αντίθετο τρόπο αποτυχίας. Αρκετές αυθεντικά καλοήθεις εντολές μπλοκάρονταν συστηματικά από προσεκτικούς παίκτες, συμπεριλαμβανομένων τυπικών επικλήσεων κατασκευής και δοκιμής. Αυτός ο υπερβολικός αποκλεισμός επιβραδύνει τον παράγοντα και, παραδόξως, αυξάνει τον μακροπρόθεσμο κίνδυνο. Όταν ζητείται επανειλημμένα από τους χρήστες να εγκρίνουν εντολές που αποδεικνύονται αβλαβείς, ο θόρυβος διαβρώνει την προθυμία τους να εξετάσουν εξονυχιστικά τα μελλοντικά μηνύματα, ωθώντας τους τελικά προς πλήρεις παρακάμψεις ή λειτουργίες αυτόματης έγκρισης που αφαιρούν εντελώς την ανθρώπινη κριτική.

Λειτουργίες όπως η αυτόματη λειτουργία του Anthropic προσπαθούν να μετριάσουν αυτό καθορίζοντας αυτόματα εάν μια εντολή είναι ασφαλής πριν ζητηθεί από τον χρήστη. Όμως, όπως δείχνουν τα δεδομένα της μελέτης για τα κρυμμένα ωφέλιμα φορτία, ακόμη και τα ορατά περιεχόμενα εντολών δεν αρκούν για τους ανθρώπους να κάνουν αξιόπιστες κρίσεις υπό πίεση.

Το βασικό πρόβλημα που λείπει είναι το πλαίσιο

Μία εντολή, «cat ~/.zshrc», αποδείχθηκε η πιο διχαστική σε ολόκληρο το παιχνίδι, εγκρίθηκε από το 45,9 τοις εκατό των παικτών. Η εντολή είναι ακίνδυνη για προγραμματιστές που δεν κρατούν μυστικά στο προφίλ τους, αλλά εκθέτει τα κλειδιά API για πολλούς που εξάγουν διαπιστευτήρια εκεί. Ο κίνδυνος εξαρτάται εξ ολοκλήρου από μια διαμόρφωση συστήματος που δεν μπορεί να δει ο πράκτορας και ο αναθεωρητής μπορεί να μην θυμάται.

Αρκετές άλλες εντολές προκάλεσαν παρόμοια διαμάχη στο νήμα συζήτησης Hacker News για τον ίδιο λόγο. Το θεμελιώδες ζήτημα είναι ότι οι προγραμματιστές καλούνται να κάνουν κρίσεις ασφαλείας χωρίς την πλήρη εικόνα των αρχείων που έχουν αλλάξει, τι έκανε ο πράκτορας στα προηγούμενα βήματα και τι περιέχει η τρέχουσα διαμόρφωση του συστήματος. Όπως σημείωσε ένας σχολιαστής, το να ζητάμε από τους χρήστες να επικυρώσουν εντολές που είναι διφορούμενες χωρίς πλαίσιο δεν αποτελεί ισχυρή διασφάλιση.

Τι ακολουθεί για την ασφάλεια του πράκτορα

Ο Wauters υποστηρίζει ότι η λύση δεν είναι καλύτεροι άνθρωποι αλλά καλύτερα εργαλεία. Οι πράκτορες Sandboxing, ώστε να μην μπορούν να έχουν άμεση πρόσβαση στα διαπιστευτήρια, η αυστηρή απομόνωση πλαισίου και τα δομικά όρια για το τι μπορούν να κάνουν οι πράκτορες χωρίς αυξημένες άδειες είναι όλα πιο ελπιδοφόρα από το να βασίζονται στην ανθρώπινη επαγρύπνηση. Μέχρι να τεθούν σε ισχύ αυτές οι δικλείδες ασφαλείας, η χορήγηση ευρειών αδειών στους πράκτορες παραμένει επικίνδυνη, ανεξάρτητα από το εάν ένας άνθρωπος βρίσκεται ονομαστικά στο βρόχο.

Η μελέτη δεν είναι μια ακαδημαϊκή εργασία με κριτές και ο Wauters αναγνωρίζει τους περιορισμούς της. Το παιχνίδι προειδοποίησε τους παίκτες για απειλές και άσκησε τεχνητή πίεση χρόνου που μπορεί να μην αντικατοπτρίζει τέλεια τα πραγματικά περιβάλλοντα ανάπτυξης. Αλλά το βασικό εύρημα, ότι οι εκπαιδευμένοι ανθρώπινοι αναθεωρητές υπό πίεση χάνουν το ένα τρίτο των σκόπιμα συγκαλυμμένων επιθέσεων, θα πρέπει να δώσει σε κάθε ομάδα που αναπτύσσει πράκτορες κωδικοποίησης AI λόγο να επανεξετάσει το μοντέλο ασφαλείας της.

Για τους προγραμματιστές που χτίζουν με πράκτορες AI σήμερα, η πρακτική λύση είναι να υποθέσουν ότι το human-in-the-loop τελικά θα αποτύχει. Σχεδιάστε τις άδειες αντιπροσώπου και το sandboxing έτσι ώστε μια χαμένη έγκριση να μην σημαίνει διαρροή κλειδιού AWS ή παραβιασμένη διοχέτευση κατασκευής. Τα δεδομένα υποδηλώνουν ότι η αντιμετώπιση της ανθρώπινης κριτικής ως κύριας άμυνας είναι ένα στοίχημα που δεν αποδίδει.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Το τοπίο ασφάλειας πρακτόρων AI εξελίσσεται με ταχείς ρυθμούς. Μείνετε ενημερωμένοι με τις πιο πρόσφατες [εξελίξεις AI] (https://aibuzzwire.news) και την τελευταία έρευνα.

Διαβάστε περισσότερα νέα AI →