Künstliche Intelligenz macht Spear-Phishing-Betrügereien effektiver, und die meisten Menschen können den Unterschied zwischen einem von der KI geschriebenen und einem von Menschen geschriebenen Köder nicht erkennen. Das ist das zentrale Ergebnis einer neuen Forschungsarbeit der Brigham Young University, die im von Experten begutachteten Journal of Cybersecurity and Privacy veröffentlicht und in der jüngsten Berichterstattung von KSL.com und Phys.org hervorgehoben wurde.
„Unsere Forschung ist nur der jüngste Beweis dafür, wie ausgefeilt der aktuelle Stand der KI ist“, sagte Jerson Francia, ein an der Arbeit beteiligter Cybersicherheitsforscher der BYU, laut der Pressemitteilung der BYU.
Was die Forscher taten
Die von einem BYU-Team verfasste und als Vorabdruck auf arXiv verfügbare Studie führte für dieselben 25 Ziele einen kontrollierten Vergleich zwischen personalisierten Phishing-Textnachrichten durch, die von GPT-4 generiert wurden, und Nachrichten, die von menschlichen Anfängern – also Studenten, die unter Zeitdruck schreiben – verfasst wurden.
Jeder Teilnehmer erhielt einen Satz von 12 personalisierten Nachrichten, die speziell für ihn erstellt wurden. Einige wurden von der KI generiert, andere von Menschen geschrieben. Die Forscher verwendeten eine Methode namens TRAPD – den Threshold Ranking Approach for Personalized Deception –, bei der die Teilnehmer die Nachrichten einordneten, den Punkt angaben, an dem sie klicken wollten, ihre Argumentation erläuterten und beurteilten, ob jede Nachricht von einer Person oder von GPT-4 geschrieben wurde.
Das Design ist wichtig, da die meisten früheren Phishing-Studien die Ergebnisse abstrakt gemessen haben. Dabei wurden die Antworten auf Nachrichten gemessen, die für jeden einzelnen Teilnehmer personalisiert waren. Genau so funktioniert echtes Spear-Phishing.
Mehr Klicks, keine bessere Erkennung
Die Schlagzeilen: Mit GPT-4 generierte Nachrichten lösten häufiger eine Klickabsicht aus als von Schülern verfasste Nachrichten – 28 % gegenüber 21 % – obwohl die Forscher anmerken, dass der Unterschied angesichts der Größe der Pilotstudie mit statistischer Unsicherheit verbunden ist.
Das beunruhigendere Ergebnis ist, was die Teilnehmer nicht tun konnten. Auf die Frage, ob eine Nachricht von einem Menschen geschrieben oder von KI generiert wurde, identifizierten die Empfänger die Quelle nur durch Zufall. Mit anderen Worten: Die zusätzliche Vorsicht, die die Leute glauben, sie gegenüber maschinengeschriebenen Texten anzuwenden, kam in den Ergebnissen nicht zum Ausdruck – die Studienteilnehmer schätzten im Wesentlichen die Urheberschaft ein.
Die Studie ergab außerdem, dass der Kontext wichtiger ist als der Inhalt: Nachrichten, die sich auf berufsbezogene Themen beziehen, lösen mit deutlich größerer Wahrscheinlichkeit eine Klickabsicht aus als Nachrichten, die sich auf Hobbys oder soziale Medien beziehen. Für Angreifer ist das ein Kraftverstärker, denn Beschäftigungsdaten gehören zu den am einfachsten online zu findenden persönlichen Informationen.
Warum berufsbezogene Köder am besten funktionieren
Die Feststellung zu arbeitsbezogenen Nachrichten verdient besondere Aufmerksamkeit von Verteidigern. Spear-Phishing gelingt durch Personalisierung – eine Nachricht, die sich auf Ihren Arbeitgeber, Ihre Rolle oder Ihre aktuellen Projekte bezieht, fühlt sich gerade deshalb legitim an, weil sie spezifisch ist.
Die BYU-Ergebnisse legen nahe, dass große Sprachmodelle diesen Personalisierungsworkflow drastisch komprimieren. Was einst stundenlange manuelle Recherche und sorgfältige Ausarbeitung durch einen erfahrenen Social Engineer erforderte, kann jetzt anhand einfacher Eingabeaufforderungen zu nahezu Null-Grenzkosten angenähert werden, schreiben die Forscher. Das Hindernis für die Durchführung einer großen, personalisierten Kampagne ist nicht mehr das Fachwissen. Es handelt sich um den Zugriff auf einen Chatbot und eine Zielliste.
Was es für Verteidiger bedeutet
Die praktischen Auswirkungen sind für Sicherheitsteams ernüchternd. Durch Sensibilisierungsschulungen lernen Mitarbeiter häufig, ungeschickte Formulierungen, einen seltsamen Tonfall oder eine unnatürliche Sprache zu erkennen – ein Hinweis darauf, dass in der Vergangenheit aufgedeckte Phishing-Versuche aufgetreten sind. Ein Detektor, der auf der Erkennung von „Roboter“-Schreiben basiert, ist mittlerweile messbar unzuverlässig, da die Empfänger in dieser Studie überhaupt nicht zwischen KI-geschriebenen und von Menschen geschriebenen Nachrichten unterscheiden konnten.
Das BYU-Team betrachtet die Ergebnisse als Beweis dafür, dass eine zugängliche KI-gestützte Personalisierung das praktische Ausmaß von Social-Engineering-Bedrohungen erhöhen kann. Abwehrmaßnahmen, die davon ausgehen, dass billiges, generisches Phishing die Norm bleiben wird, basieren auf der Annahme, dass die Daten dies nicht mehr stützen.
Die Forscher betonen auch die Grenzen der Studie. Es handelte sich um ein Pilotprojekt mit 25 Zielgruppen, bei dem SMS-Nachrichten verwendet wurden und bei dem es sich eher um studentische Autoren als um professionelle Phisher handelte – ein Vergleich, der die Kluft zwischen der KI-Ausgabe und der durchschnittlichen Betrugsqualität in der Praxis eher unterschätzt. Das Team stellt fest, dass menschliche Richter die Quellen zwar nicht unterscheiden konnten, die beiden Nachrichtensätze jedoch rechnerisch unterscheidbar blieben, was Raum für automatisierte Erkennungsansätze ließ.
Für Unternehmen ist die Erkenntnis eher prozessualer als technischer Natur: Überprüfen Sie Anfragen über separate Kanäle, behandeln Sie Dringlichkeit und berufsbezogene Formulierungen als Risikosignale, unabhängig davon, wie ausgefeilt die Nachricht lautet, und gehen Sie davon aus, dass gut geschrieben nicht mehr von Menschen geschrieben bedeutet.
Bleiben Sie der KI immer einen Schritt voraus
Verfolgen Sie, wie KI Sicherheit und Gesellschaft verändert? Lesen Sie weitere KI-Neuigkeiten auf AI Buzz Wire – unabhängige KI-Berichterstattung, jeden Tag.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
