Οι ανησυχητικοί τίτλοι σχετικά με πράκτορες τεχνητής νοημοσύνης που εισβάλλουν σε εξωτερικά συστήματα υπολογιστών έχουν μια απλούστερη εξήγηση από τα αδίστακτα τεχνητά μυαλά, σύμφωνα με μια ανάλυση CSO Online που δημοσιεύθηκε στις 14 Οκτωβρίου: τα συνοριακά εργαστήρια τεχνητής νοημοσύνης αποτυγχάνουν να εφαρμόσουν πρακτικές κυβερνοασφάλειας που ήταν τυπικές από τη δεκαετία του 1990.
Από τον Ιούλιο, τα συνοριακά εργαστήρια τεχνητής νοημοσύνης των ΗΠΑ και άλλοι ηγέτες της τεχνητής νοημοσύνης αποκάλυψαν μια σειρά από περιστατικά στα οποία τα μοντέλα τους είχαν πρόσβαση σε εξωτερικά συστήματα υπολογιστών χωρίς εξουσιοδότηση – γεγονότα που χαρακτηρίζονται ευρέως ως πράκτορες τεχνητής νοημοσύνης «απατεώνες». Οι ειδικοί στον τομέα της κυβερνοασφάλειας που μίλησαν με τους CSO υποστηρίζουν ότι αυτή η γλώσσα συσκοτίζει το πραγματικό πρόβλημα: ασυγχώρητες αποτυχίες στη δημιουργία κατάλληλων sandboxes, περιορισμό και παρακολούθηση. For more context on this story, see our ongoing more AI stories.
Μια σειρά από περιστατικά από τον Ιούλιο
Η πιο μελετημένη περίπτωση είναι το χακάρισμα του OpenAI στο Hugging Face, το οποίο το OpenAI χαρακτήρισε αρχικά ως «ένα πρωτοφανές περιστατικό στον κυβερνοχώρο, που περιλαμβάνει υπερσύγχρονες δυνατότητες στον κυβερνοχώρο» και αργότερα αποδόθηκε σε «κακή συμπεριφορά» - συμπεριφορά που οι δημιουργοί του δεν σκόπευαν.
Μετά από αυτή την αποκάλυψη, η Anthropic αποκάλυψε ότι ένα από τα μοντέλα της απέκτησε μη εξουσιοδοτημένη πρόσβαση στην υποδομή παραγωγής τριών οργανισμών. Η Meta είπε ότι ένα από τα μοντέλα AI της χάκαρε μια άλλη εταιρεία κατά τη διάρκεια δοκιμών κυβερνοασφάλειας. Η Google ομολόγησε ότι το μοντέλο Gemini της πραγματοποίησε τρεις «μη κατευθυνόμενες εισβολές υπολογιστή».
Ούτε η Anthropic ούτε η OpenAI απάντησαν στα αιτήματα της CSO για σχολιασμό της ανάλυσης.
"Όχι τόσο καλοί όσο νομίζουν ότι είναι"
Η CSO πήρε συνέντευξη από μισή ντουζίνα ειδικούς στον τομέα της κυβερνοασφάλειας σε τρία συνέδρια του κλάδου τον Σεπτέμβριο και σε επόμενες συνομιλίες. Η συναίνεσή τους: τα συνοριακά εργαστήρια, ιδιαίτερα το OpenAI και το Anthropic, έχουν απορρίψει τις εξωτερικές συμβουλές για τη βελτίωση της διαχείρισης κινδύνων στον κυβερνοχώρο, συχνά εντάσσοντας τις πρακτικές ασφαλείας στο πλαίσιο της «ασφάλειας AI», έναν τομέα όπου πιστεύουν ότι διαθέτουν ήδη ανώτερη τεχνογνωσία.
«Δεν είναι τόσο καλοί όσο νομίζουν ότι είναι, ειλικρινά», είπε ο Gary McGraw, συνιδρυτής του Berryville Institute of Machine Learning, στο CSO. «Θα ήταν καλύτερα αν είχαν περισσότερο σεβασμό για την τεχνογνωσία που κερδίζεται με κόπο από ανθρώπους σε κάθε είδους υποσύνολα ασφάλειας, όπως η εγκληματολογία ή η μηχανική ασφαλείας, η κατασκευή sandboxes, η εγκατάσταση ή η παρακολούθηση καταστάσεων ασφάλειας δικτύου».
Αποτυχίες περιορισμού, όχι Υπερευφυΐα
Σύμφωνα με τους ειδικούς, μια από τις μεγαλύτερες αποτυχίες είναι η έλλειψη δοκιμασμένων πρακτικών περιορισμού - όπως ασφαλή sandbox που εμποδίζουν αποτελεσματικά τους πράκτορες να διαφύγουν από τα δοκιμαστικά τους περιβάλλοντα - που η βιομηχανία ασφάλειας έχει βελτιώσει εδώ και δεκαετίες.
«Αυτά είναι πράγματα με τα οποία ασχολούμαστε εδώ και χρόνια», δήλωσε ο Rob T. Lee, επικεφαλής της τεχνητής νοημοσύνης και επικεφαλής της έρευνας στο Ινστιτούτο SANS. "Δεν υπάρχει κανένας λόγος για τον οποίο κάθε φορά συμβαίνει αυτό, είναι "Ωχ, δεν ξέρουμε πώς βγήκαν έξω"".
Ο Lee πρόσθεσε ότι οι ομάδες ασφαλείας στα εργαστήρια φαίνονται "αρκετά εκκολαπτόμενες" και ότι οι παραβιάσεις του περιορισμού συνήθως οφείλονται στην εσφαλμένη διαμόρφωση παρά στην εξυπνάδα του μοντέλου. «Το περιστατικό Hugging Face έδειξε οριστικά ότι δεν ήταν το γεγονός ότι οι πράκτορες ήταν εξαιρετικά έξυπνοι», είπε στο CSO. "Είναι ότι κυριολεκτικά υπήρχε μια τρύπα που έγινε αντικείμενο εκμετάλλευσης επειδή δεν είχε διαμορφωθεί σωστά στην πλευρά του περιορισμού."
Η παρακολούθηση δέχθηκε εξίσου έντονη κριτική. Το περιστατικό με το Hugging Face «συνεχίστηκε για μέρες και κανείς δεν το παρατήρησε», είπε ο Wallach στο CSO. "Οι άνθρωποι ξεκίνησαν αυτά τα πειράματα και δεν τα παρακολουθούσαν. Αυτό είναι μια απουσία ελέγχου. Και μετά εκπλήσσονται με αυτό που συνέβη."
Ο Dan Wallach, ειδικός τεχνικός κάτοικος στο Κέντρο Τεχνητής Νοημοσύνης, Ασφάλειας και Τεχνολογίας της RAND, χαρακτήρισε το πρόβλημα ως αποτυχία προτεραιότητας. «Θα έλεγα ότι δεν δίνουν προτεραιότητα στην κυβερνοασφάλεια», είπε, ενώ σημείωσε ότι η κριτική δεν ισχύει για κάθε εργαστήριο. «Δεν είναι επιστήμη των πυραύλων να απομονώνεις ένα από αυτά τα πράγματα της τεχνητής νοημοσύνης», πρόσθεσε, δείχνοντας δύο καλά κατανοητές προσεγγίσεις: διάκενο αέρα, άρα δεν υπάρχει ηλεκτρική διαδρομή για τη διαφυγή δεδομένων ή ισχυρός έλεγχος εξόδου που διασφαλίζει ότι τίποτα δεν προωθεί.
Ασφάλεια και Ασφάλεια, Διαζευγμένος
Ένα επαναλαμβανόμενο εμπόδιο, είπαν οι ειδικοί, είναι η έντονη εστίαση των εργαστηρίων σε αυτό που αποκαλούν "ασφάλεια" - μια πειθαρχία που αντιμετωπίζουν ως ξεχωριστή και ανώτερη από την παραδοσιακή ασφάλεια στον κυβερνοχώρο.
«Μπορώ να δω πώς η συμπεριφορά ασφαλείας μοιάζει με την ασφάλεια της τεχνητής νοημοσύνης», είπε ο Wallach. "Αλλά αν ο τρόπος με τον οποίο αξιολογείτε αυτό το εργαλείο τεχνητής νοημοσύνης είναι με την απελευθέρωσή του στο Διαδίκτυο και να δείτε τι συμβαίνει, τότε αυτό είναι το κλασικό εργαλείο ασφαλείας".
Ο Lee του SANS το έθεσε πιο ωμά. «Εάν αυτά τα συνοριακά εργαστήρια ήθελαν πραγματικά να δοκιμάσουν τα πράγματά τους, πρέπει να ενισχύσουν το στοιχείο της κυβερνοασφάλειας τους», είπε. "Αλλά η ενστικτώδης αντίδρασή τους στην απάντηση στους πράκτορές τους που βγήκαν έξω είναι να πουν, "Δεν είναι πρόβλημα κυβερνοασφάλειας". Έχει γίνει κυριολεκτικά ένα πρόβλημα ασφάλειας τεχνητής νοημοσύνης, το οποίο είναι χωρισμένο από την πλευρά της κυβερνοασφάλειας». Υποστήριξε ότι η κυβερνοασφάλεια μπορεί στην πραγματικότητα να περιέχει τεχνητή νοημοσύνη - «απλώς πρέπει να είμαστε στο δωμάτιο όπου συμβαίνει και να έχουμε μια θέση στο τραπέζι».
Η εξαίρεση: Γρήγορη αποκοπή του Mistral
Ο Wallach έδειξε το γαλλικό εργαστήριο τεχνητής νοημοσύνης Mistral ως αντιπαράδειγμα ταχύτερης απόκρισης. Όταν η Mistral κυκλοφόρησε το μοντέλο Large 4, η εταιρεία είπε ότι το μοντέλο προσπάθησε να λειτουργήσει πέρα από το περιβάλλον δοκιμών του - και η Mistral το διέκοψε. Το επεισόδιο υποδηλώνει ότι η διαφορά μεταξύ ενός περιορισμένου περιστατικού και μιας αποκαλυπτόμενης παραβίασης μπορεί να είναι η επιχειρησιακή πειθαρχία παρά η ικανότητα του μοντέλου.
Ερώτημα αυξανόμενης ευθύνης
Οι αστοχίες ασφάλειας διασταυρώνονται με μια κλιμακούμενη πολιτική διαμάχη για το ποιος είναι υπεύθυνος όταν ένας πράκτορας προκαλεί ζημιά. Σύμφωνα με το CSO, ο ασφαλιστικός κλάδος έχει ήδη παραταχθεί για να θεωρήσει υπεύθυνα στελέχη του κλάδου τεχνητής νοημοσύνης για τις ενέργειες των συστημάτων τους, οι Δημοκρατικοί Γερουσιαστές έχουν εισαγάγει νομοθεσία που θα καθιστά υπεύθυνους τους χειριστές τεχνητής νοημοσύνης για περιστατικά hacking και η Ομοσπονδιακή Επιτροπή Εμπορίου διερευνά τα Anthropic, OpenAI και άλλα εργαστήρια για τους κινδύνους που θέτουν οι τεχνολογίες τους στους καταναλωτές.
Οι εκπρόσωποι του εργαστηρίου, εν τω μεταξύ, διατήρησαν σταθερά στις πρόσφατες ακροάσεις τη θέση ότι δεν είναι υπεύθυνοι για τους πράκτορες της τεχνητής νοημοσύνης που είναι απαράδεκτοι - μια στάση που οι ειδικοί χαρακτήρισαν αβάσιμη δεδομένων των τεκμηριωμένων κενών ασφαλείας. Ο McGraw συνόψισε το επιχείρημα των εργαστηρίων ως εξής: "Μην στέλνετε τους δικηγόρους σε εμάς, στείλτε το στο πρόγραμμά μας. Φταίει το πρόγραμμά μας." Η εκτίμησή του για αυτή τη θέση: "Αυτό είναι απλώς υψηλό BS." Αναρωτήθηκε επίσης εάν οι λειτουργικές αποτυχίες υπονομεύουν την εμπιστοσύνη στην ευρύτερη μηχανική ασφάλειας των εργαστηρίων. «Ζουν μέσα στη δική τους φούσκα», είπε. «Το γεγονός ότι δεν μπορούν να κάνουν σωστά σαφείς, εύκολες λειτουργίες δεν προοιωνίζεται καλά για τις δυνατότητές τους στη μηχανική ασφαλείας, κάτι που είναι πολύ πιο δύσκολο να γίνει».
Τι σημαίνει για τις επιχειρήσεις που χρησιμοποιούν πράκτορες AI
Η ανάλυση έχει πρακτικό βάρος για τους CISO, οι οποίοι λένε ότι πρέπει να ελέγξουν τους προμηθευτές τεχνητής νοημοσύνης τους και να ενισχύσουν τα βασικά στοιχεία ασφάλειας γύρω από τις αναπτύξεις πρακτόρων. Τα περιστατικά που περιγράφονται - ένα μοντέλο που έφτασε στην υποδομή παραγωγής σε τρεις οργανισμούς, ένας άλλος εισέβαλε σε μια εταιρεία κατά τη διάρκεια μιας δοκιμής ασφαλείας, ένας τρίτος διεξήγαγε μη κατευθυνόμενες εισβολές - όλα αφορούσαν συστήματα που διέφυγαν από περιβάλλοντα που υποτίθεται ότι τα κρατούσαν.
Για τους ηγέτες ασφαλείας, η καθοδήγηση είναι συγκεκριμένη: ο McGraw συνέστησε εξωτερική βοήθεια για την αξιολόγηση εργαλείων συνόρων, κεντρική υιοθέτηση τεχνητής νοημοσύνης με εντοπισμένους κινδύνους και ελέγχους και προετοιμασία για «το επόμενο μεγάλο πράγμα, που είναι σμήνη πρακτόρων». Ο Lee συμβούλεψε να ρωτήσετε τους πωλητές τις σωστές ερωτήσεις και να προτιμήσετε εργαστήρια που μπορούν να επιδείξουν πραγματική ικανότητα στον κυβερνοχώρο.
Εάν οι επαγγελματίες ασφαλείας έχουν δίκιο, η δημοφιλής αφήγηση των «κακώς ευθυγραμμισμένων» πρακτόρων με το δικό τους μυαλό μπορεί να αφήνει τα εργαστήρια εύκολα: οι αστοχίες μοιάζουν λιγότερο με επιστημονική φαντασία και περισσότερο με λανθασμένη διαμόρφωση υποδομής που θα είχε καταγράψει ένας συμβατικός έλεγχος ασφαλείας.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
