Kunstmatige intelligentie maakt spearphishing-scams effectiever, en de meeste mensen kunnen het verschil niet zien tussen een door AI geschreven lokmiddel en een door mensen geschreven lokmiddel. Dat is de kernbevinding van nieuw onderzoek van de Brigham Young University, gepubliceerd in het peer-reviewed Journal of Cybersecurity and Privacy en benadrukt in recente berichtgeving door KSL.com en Phys.org.
"Ons onderzoek is slechts het laatste dat laat zien hoe geavanceerd de huidige staat van AI is", zegt Jerson Francia, een cybersecurity-onderzoeker van BYU die bij het werk betrokken is, volgens het persbericht van BYU.
Wat de onderzoekers deden
De studie, geschreven door een BYU-team en beschikbaar als preprint op arXiv, zette een gecontroleerde vergelijking op tussen gepersonaliseerde phishing-sms-berichten gegenereerd door GPT-4 en berichten geschreven door menselijke nieuwelingen – studenten die onder tijdsdruk schrijven – voor dezelfde 25 doelen.
Deelnemers ontvingen elk een set van 12 gepersonaliseerde berichten die speciaal voor hen waren gemaakt. Sommige waren door AI gegenereerd, andere door mensen geschreven. De onderzoekers gebruikten een methode die zij TRAPD noemen – de Threshold Ranking Approach for Personalised Deception – waarbij deelnemers de berichten rangschikten, het punt aangaven waarop ze van plan waren te klikken, hun redenering uitlegden en beoordeelden of elk bericht door een persoon of door GPT-4 was geschreven.
Het ontwerp is van belang omdat de meeste eerdere phishing-onderzoeken de uitkomsten in abstracto maten. Deze meet de reacties op berichten die voor elke individuele deelnemer zijn gepersonaliseerd, en dat is precies hoe echte spearphishing werkt.
Meer klikken, geen betere detectie
De belangrijkste cijfers: door GPT-4 gegenereerde berichten wekten vaker de intentie op om te klikken dan door studenten geschreven berichten – 28% versus 21% – hoewel de onderzoekers opmerken dat het verschil statistische onzekerheid met zich meebrengt gezien de omvang van de pilotstudie.
Het verontrustender resultaat is wat de deelnemers niet konden doen. Op de vraag of een bericht door een mens is geschreven of door AI is gegenereerd, identificeerden de ontvangers de bron niet nauwkeuriger dan toeval. Met andere woorden: de extra behoedzaamheid die mensen denken toe te passen op machinaal geschreven tekst kwam niet naar voren in de resultaten; deelnemers aan de studie waren in wezen aan het spelen met het auteurschap.
Uit het onderzoek bleek ook dat de context het wint van de inhoud: berichten die rond werkgerelateerde zaken zijn geformuleerd, hadden aanzienlijk meer kans om de intentie om te klikken uit te lokken dan berichten die verband hielden met hobby's of sociale media. Voor aanvallers is dat een krachtvermenigvuldiger, omdat arbeidsgegevens tot de gemakkelijkste persoonlijke informatie behoren die online te vinden is.
Waarom werkgerelateerd kunstaas het beste werkt
De bevinding over werkgerelateerde berichten verdient bijzondere aandacht van verdedigers. Spearphishing slaagt door middel van personalisatie: een bericht dat verwijst naar uw werkgever, uw rol of uw huidige projecten voelt legitiem, juist omdat het specifiek is.
De BYU-resultaten suggereren dat grote taalmodellen de personalisatieworkflow dramatisch comprimeren. Wat ooit uren handmatig onderzoek en zorgvuldig opstellen door een bekwame sociaal ingenieur vergde, kan nu worden benaderd op basis van eenvoudige aanwijzingen tegen bijna nul marginale kosten, schrijven de onderzoekers. De barrière voor het uitvoeren van een grote, gepersonaliseerde campagne is niet langer vaardigheid. Het is toegang tot een chatbot en een doelgroeplijst.
Wat het betekent voor verdedigers
De praktische implicaties zijn ontnuchterend voor beveiligingsteams. Bewustmakingstraining leert werknemers vaak lastige bewoordingen, vreemde toon of onnatuurlijk taalgebruik op te merken; dit wijst op historisch aan het licht gebrachte phishing-pogingen. Een detector die afhankelijk is van het opmerken van ‘robotachtig’ schrift is nu meetbaar onbetrouwbaar, omdat de ontvangers in dit onderzoek helemaal geen onderscheid konden maken tussen door AI geschreven berichten en door mensen geschreven berichten.
Het BYU-team beschouwt de bevindingen als bewijs dat toegankelijke, door AI ondersteunde personalisatie de praktische omvang van social engineering-bedreigingen kan vergroten. Verdedigingen die ervan uitgaan dat goedkope, generieke phishing de norm zal blijven, zijn gebaseerd op de veronderstelling dat de gegevens niet langer ondersteunen.
De onderzoekers benadrukken ook de grenzen van het onderzoek. Het was een pilot met 25 doelwitten waarbij gebruik werd gemaakt van sms-berichten, met studentenauteurs in plaats van professionele phishers – een vergelijking die de kloof tussen AI-output en de gemiddelde kwaliteit van oplichting in de echte wereld onderschat. Het team merkt op dat, hoewel menselijke rechters de bronnen niet van elkaar konden onderscheiden, de twee berichtensets computationeel van elkaar te onderscheiden bleven, waardoor er ruimte overblijft voor geautomatiseerde detectiebenaderingen.
Voor organisaties is de boodschap eerder procedureel dan technisch: verifieer verzoeken via afzonderlijke kanalen, behandel urgentie en werkgerelateerde framing als risicosignalen, ongeacht hoe gepolijst de boodschap luidt, en ga ervan uit dat goed geschreven niet langer door mensen geschreven is.
Blijf AI een stap voor
Volgen hoe AI de veiligheid en de samenleving hervormt? Lees meer AI-nieuws op AI Buzz Wire — onafhankelijke AI-verslaggeving, elke dag.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
