Umělá inteligence dělá spear phishing podvody efektivnějšími a většina lidí nedokáže rozeznat rozdíl mezi návnadou napsanou umělou inteligencí a návnadou napsanou lidmi. To je hlavní zjištění nového výzkumu Univerzity Brighama Younga, publikovaného v recenzovaném časopise Journal of Cybersecurity and Privacy a zvýrazněného v nedávném zpravodajství KSL.com a Phys.org.
"Náš výzkum je jen nejnovější, který ukazuje, jak sofistikovaný je současný stav AI," řekl podle tiskové zprávy BYU Jerson Francia, výzkumník kybernetické bezpečnosti BYU zapojený do práce.
Co výzkumníci udělali
Studie, kterou vytvořil tým BYU a je k dispozici jako předtisk na arXiv, vytvořila kontrolované srovnání mezi personalizovanými phishingovými textovými zprávami generovanými GPT-4 a zprávami napsanými lidskými nováčky – studenty píšícími v časovém omezení – pro stejných 25 cílů.
Každý z účastníků obdržel sadu 12 personalizovaných zpráv vytvořených přímo pro ně. Některé byly vytvořené AI, některé napsané lidmi. Výzkumníci použili metodu, kterou nazývají TRAPD – Threshold Ranking Approach for Personalized Deception – podle níž účastníci seřadili zprávy, označili bod, ve kterém hodlají kliknout, vysvětlili své úvahy a posoudili, zda byla každá zpráva napsána osobou nebo GPT-4.
Na designu záleží, protože většina dřívějších phishingových studií měřila výsledky abstraktně. Měřil odezvy na zprávy personalizované pro každého jednotlivého účastníka, což je přesně to, jak funguje skutečný spear phishing.
Více kliknutí, žádná lepší detekce
Čísla titulků: Zprávy generované GPT-4 vyvolaly úmysl kliknout častěji než zprávy od studentů – 28 % oproti 21 % – ačkoli výzkumníci poznamenávají, že rozdíl nese statistickou nejistotu vzhledem k velikosti pilotní studie.
O to znepokojivějším výsledkem je to, co účastníci nemohli udělat. Na otázku, zda zprávu napsal člověk nebo ji vygenerovala umělá inteligence, příjemci identifikovali zdroj o nic přesněji než náhodou. Jinými slovy, extra ostražitost, kterou lidé věří, že aplikují na strojově psaný text, se ve výsledcích neprojevila – účastníci studie v podstatě házeli mince na autorství.
Studie také zjistila, že kontext převažuje nad obsahem: zprávy zarámované kolem záležitostí souvisejících s prací výrazně s větší pravděpodobností vyvolaly úmysl kliknout než zprávy spojené s koníčky nebo sociálními médii. Pro útočníky je to multiplikátor síly, protože podrobnosti o zaměstnání patří mezi ty nejsnáze dostupné osobní informace online.
Proč návnady související se zaměstnáním fungují nejlépe
Zjištění týkající se zpráv souvisejících s prací si zaslouží zvláštní pozornost obránců. Spear phishing je úspěšný díky personalizaci – zpráva, která odkazuje na vašeho zaměstnavatele, vaši roli nebo vaše současné projekty, je legitimní právě proto, že je specifická.
Výsledky BYU naznačují, že velké jazykové modely tento personalizační pracovní postup dramaticky komprimují. To, co kdysi vyžadovalo hodiny ručního výzkumu a pečlivého navrhování zkušeným sociálním inženýrem, lze nyní aproximovat z jednoduchých pokynů za téměř nulové mezní náklady, píší výzkumníci. Překážkou pro provozování velké, personalizované kampaně již není dovednost. Jedná se o přístup k chatbotovi a cílovému seznamu.
Co to znamená pro obránce
Praktické důsledky jsou pro bezpečnostní týmy střízlivé. Školení osvěty často učí zaměstnance rozpoznat nepohodlné fráze, podivný tón nebo nepřirozený jazyk – říká, že historicky odhalené pokusy o phishing. Detektor, který spoléhá na rozpoznání „robotického“ psaní, je nyní měřitelně nespolehlivý, protože příjemci v této studii vůbec nedokázali rozlišit zprávy napsané AI od zpráv napsaných lidmi.
Tým BYU uvádí zjištění jako důkaz, že přístupná personalizace s pomocí AI může zvýšit praktický rozsah hrozeb sociálního inženýrství. Obrana, která předpokládá, že levný, obecný phishing zůstane normou, je postavena na předpokladu, že data již nepodporují.
Vědci také zdůrazňují limity studie. Jednalo se o pilotní projekt s 25 cíli využívající SMS zprávy se studentskými autory spíše než profesionálními phishery – srovnání, které, pokud vůbec něco, podhodnocuje rozdíl mezi výstupem AI a průměrnou kvalitou podvodů v reálném světě. Tým poznamenává, že zatímco lidští soudci nedokázali zdroje oddělit, obě sady zpráv zůstaly výpočetně rozlišitelné, což ponechalo prostor pro automatizované detekční přístupy.
Pro organizace je tento postup spíše procedurální než technický: ověřujte požadavky prostřednictvím samostatných kanálů, zacházejte s naléhavostí a rámováním souvisejícím s prací jako s rizikovými signály bez ohledu na to, jak pečlivě se zpráva čte, a předpokládejte, že dobře napsaná již neznamená napsaná lidmi.
Udržujte si náskok před AI
Sledování toho, jak umělá inteligence přetváří bezpečnost a společnost? Přečtěte si další zprávy o AI na AI Buzz Wire – nezávislé pokrytí AI, každý den.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
