Sztuczna inteligencja zwiększa skuteczność oszustw typu spear phishing i większość ludzi nie potrafi odróżnić przynęty napisanej przez sztuczną inteligencję od przynęty napisanej przez człowieka. Takie jest główne ustalenie nowego badania przeprowadzonego na Uniwersytecie Brighama Younga, opublikowanego w recenzowanym czasopiśmie Journal of Cybersecurity and Privacy i podkreślonego w niedawnych relacjach na stronach KSL.com i Phys.org.

„Nasze badania są najnowszymi badaniami, które pokazują, jak zaawansowany jest obecny stan sztucznej inteligencji” – stwierdził Jerson Francia, badacz cyberbezpieczeństwa z BYU zaangażowany w prace, zgodnie z komunikatem prasowym BYU.

Co zrobili badacze

Badanie, którego autorem jest zespół BYU i które jest dostępne jako wydruk wstępny w witrynie arXiv, przeprowadziło kontrolowane porównanie spersonalizowanych wiadomości tekstowych phishingowych generowanych przez GPT-4 z wiadomościami pisanymi przez nowicjuszy – studentów piszących pod ograniczonym czasem – dla tych samych 25 celów.

Każdy z uczestników otrzymał zestaw 12 spersonalizowanych wiadomości przygotowanych specjalnie dla nich. Niektóre zostały wygenerowane przez sztuczną inteligencję, inne napisane przez człowieka. Badacze zastosowali metodę, którą nazwali TRAPD – Threshold Ranking Approach for Personalized Deception – zgodnie z którą uczestnicy oceniali wiadomości, wskazywali moment, w którym zamierzali kliknąć, wyjaśniali swoje rozumowanie i oceniali, czy każda wiadomość została napisana przez osobę, czy przez GPT-4.

Projekt ma znaczenie, ponieważ większość wcześniejszych badań phishingu oceniała wyniki w sposób abstrakcyjny. W tym badaniu mierzono odpowiedzi na wiadomości spersonalizowane dla każdego uczestnika i właśnie na tym polega prawdziwy spear phishing.

Więcej kliknięć, brak lepszego wykrywania

Liczby nagłówków: Wiadomości wygenerowane za pomocą GPT-4 częściej wywoływały chęć kliknięcia niż wiadomości autorstwa uczniów – 28% w porównaniu z 21% – chociaż badacze zauważają, że różnica ta niesie ze sobą statystyczną niepewność, biorąc pod uwagę rozmiar badania pilotażowego.

Bardziej niepokojący jest wynik tego, czego uczestnicy nie byli w stanie zrobić. Na pytanie, czy wiadomość została napisana przez człowieka, czy wygenerowana przez sztuczną inteligencję, odbiorcy identyfikowali źródło nie dokładniej niż przypadek. Innymi słowy, w wynikach nie znalazła się szczególna ostrożność, jaką ludzie uważają za właściwą wobec tekstu pisanego maszynowo – uczestnicy badania w zasadzie rzucali monetą w kwestii autorstwa.

Badanie wykazało również, że kontekst przewyższa treść: wiadomości sformułowane wokół spraw związanych z pracą znacznie częściej wywoływały zamiar kliknięcia niż wiadomości związane z hobby lub mediami społecznościowymi. Dla atakujących jest to mnożnik siły, ponieważ dane osobowe należą do danych osobowych, które najłatwiej znaleźć w Internecie.

Dlaczego przynęty związane z pracą działają najlepiej

Na szczególną uwagę ze strony obrońców zasługuje odkrycie dotyczące wiadomości związanych z pracą. Spear phishing jest skuteczny dzięki personalizacji — wiadomość odnosząca się do Twojego pracodawcy, Twojej roli lub bieżących projektów wydaje się uzasadniona właśnie dlatego, że jest konkretna.

Wyniki BYU sugerują, że duże modele językowe dramatycznie kompresują proces personalizacji. To, co kiedyś wymagało godzin ręcznych badań i starannego opracowywania przez wykwalifikowanego inżyniera społecznego, można teraz oszacować w przybliżeniu na podstawie prostych wskazówek przy niemal zerowym koszcie krańcowym – piszą naukowcy. Barierą w prowadzeniu dużej, spersonalizowanej kampanii nie są już umiejętności. To dostęp do chatbota i listy docelowej.

Co to oznacza dla obrońców

Praktyczne implikacje są otrzeźwiające dla zespołów bezpieczeństwa. Szkolenia podnoszące świadomość często uczą pracowników rozpoznawania niezręcznych sformułowań, dziwnego tonu lub nienaturalnego języka — mówią o tym, że w przeszłości ujawniano próby phishingu. Detektor wykorzystujący wykrywanie pisma „robotycznego” jest obecnie w sposób wymierny zawodny, ponieważ odbiorcy biorący udział w tym badaniu w ogóle nie byli w stanie odróżnić wiadomości pisanych przez sztuczną inteligencję od wiadomości pisanych przez człowieka.

Zespół BYU przedstawia ustalenia jako dowód na to, że dostępna personalizacja wspomagana sztuczną inteligencją może zwiększyć praktyczną skalę zagrożeń socjotechnicznych. Zabezpieczenia zakładające, że tani, ogólny phishing pozostanie normą, opierają się na założeniu, że dane nie są już obsługiwane.

Naukowcy podkreślają również ograniczenia badania. Był to pilotażowy program obejmujący 25 celów, wykorzystujący wiadomości SMS, a autorami byli studenci, a nie profesjonalni phisherzy – porównanie to w każdym razie zaniża różnicę między wynikami sztucznej inteligencji a średnią jakością oszustw w świecie rzeczywistym. Zespół zauważa, że ​​chociaż ludzcy sędziowie nie byli w stanie rozróżnić źródeł, oba zestawy komunikatów można było rozróżnić obliczeniowo, pozostawiając miejsce na metody automatycznego wykrywania.

W przypadku organizacji wniosek ma raczej charakter proceduralny niż techniczny: weryfikuj prośby oddzielnymi kanałami, traktuj pilność i ramy związane ze stanowiskiem pracy jako sygnały ryzyka niezależnie od tego, jak dopracowana jest wiadomość, i zakładaj, że dobrze napisany nie oznacza już napisany przez człowieka.

Wyprzedź sztuczną inteligencję

Śledzenie, jak sztuczna inteligencja zmienia bezpieczeństwo i społeczeństwo? Przeczytaj więcej aktualności na temat sztucznej inteligencji w AI Buzz Wire — codzienne niezależne relacje dotyczące sztucznej inteligencji.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →