Искусственный интеллект делает целевые фишинговые атаки более эффективными, и большинство людей не могут отличить приманку, написанную ИИ, от приманки, написанной человеком. Таков основной вывод нового исследования Университета Бригама Янга, опубликованного в рецензируемом журнале «Кибербезопасность и конфиденциальность» и освещенного в недавних репортажах KSL.com и Phys.org.

«Наше исследование является последним, показывающим, насколько сложным является нынешнее состояние искусственного интеллекта», — сказал Джерсон Франсиа, исследователь кибербезопасности BYU, участвовавший в работе, согласно пресс-релизу BYU.

Что сделали исследователи

В исследовании, автором которого является команда BYU и которое доступно в виде препринта на arXiv, было проведено контролируемое сравнение между персонализированными фишинговыми текстовыми сообщениями, генерируемыми GPT-4, и сообщениями, написанными людьми-новичками — студентами, пишущими в условиях ограниченного времени — для тех же 25 целей.

Каждый участник получил набор из 12 персонализированных сообщений, созданных специально для них. Некоторые из них были созданы искусственным интеллектом, некоторые написаны человеком. Исследователи использовали метод, который они называют TRAPD — подход к ранжированию порогов для персонализированного обмана — в рамках которого участники ранжировали сообщения, указывали точку, на которую они намеревались нажать, объясняли свои рассуждения и оценивали, было ли каждое сообщение написано человеком или GPT-4.

Дизайн имеет значение, поскольку в большинстве ранних исследований фишинга результаты измерялись абстрактно. Здесь измерялись ответы на сообщения, персонализированные для каждого отдельного участника, и именно так работает настоящий целевой фишинг.

Больше кликов, нет лучшего обнаружения

Цифры заголовков: сообщения, сгенерированные GPT-4, вызывали намерение кликнуть чаще, чем сообщения, написанные студентами — 28% против 21% — хотя исследователи отмечают, что разница несет статистическую неопределенность, учитывая размер пилотного исследования.

Более тревожным результатом является то, что участники не смогли сделать. На вопрос, было ли сообщение написано человеком или сгенерировано искусственным интеллектом, получатели определили источник не более точно, чем случайно. Другими словами, особая осторожность, с которой люди относятся к машинописному тексту, не проявилась в результатах — участники исследования, по сути, подбрасывали монетку в отношении авторства.

Исследование также показало, что контекст важнее содержания: сообщения, посвященные вопросам, связанным с работой, значительно чаще вызывают намерение кликнуть, чем сообщения, связанные с хобби или социальными сетями. Для злоумышленников это увеличивает силу, поскольку сведения о занятости — одна из самых простых личных данных, которые можно найти в Интернете.

Почему приманки, связанные с работой, работают лучше всего

Особого внимания правозащитников заслуживает вывод о сообщениях, связанных с работой. Целевой фишинг преуспевает благодаря персонализации — сообщение, в котором упоминается ваш работодатель, ваша должность или ваши текущие проекты, кажется законным именно потому, что оно конкретное.

Результаты BYU показывают, что большие языковые модели существенно сжимают рабочий процесс персонализации. Исследователи пишут, что то, что когда-то требовало часов ручного исследования и тщательного составления опытным социальным инженером, теперь может быть аппроксимировано с помощью простых подсказок с почти нулевыми предельными затратами. Препятствием для проведения масштабной персонализированной кампании больше не являются навыки. Это доступ к чат-боту и списку целей.

Что это значит для защитников

Практические последствия отрезвляют команды безопасности. Обучение повышению осведомленности часто учит сотрудников распознавать неуклюжие фразы, странный тон или неестественный язык, что исторически выявило попытки фишинга. Детектор, который полагается на обнаружение «роботизированного» письма, теперь стал весьма ненадежным, поскольку получатели в этом исследовании вообще не могли отличить сообщения, написанные ИИ, от сообщений, написанных человеком.

Команда BYU представляет полученные результаты как свидетельство того, что доступная персонализация с помощью ИИ может увеличить практический масштаб угроз социальной инженерии. Защита, предполагающая, что дешевый обычный фишинг останется нормой, построена на предположении, что данные больше не поддерживаются.

Исследователи также подчеркивают ограничения исследования. Это был пилотный проект с 25 целями, использующий SMS-сообщения, с авторами-студентами, а не профессиональными фишерами — сравнение, которое, во всяком случае, преуменьшает разрыв между результатами искусственного интеллекта и средним реальным качеством мошенничества. Команда отмечает, что, хотя люди-судьи не могли отличить источники друг от друга, два набора сообщений оставались различимыми в вычислительном отношении, оставляя место для автоматизированных подходов к обнаружению.

Для организаций вывод скорее процедурный, чем технический: проверяйте запросы по разным каналам, рассматривайте срочность и формулировку, связанную с работой, как сигналы риска, независимо от того, насколько безупречно читается сообщение, и предполагайте, что хорошо написанное больше не означает написанное человеком.

Будьте впереди ИИ

Отслеживаете, как ИИ меняет безопасность и общество? Подробнее читайте новости об искусственном интеллекте на AI Buzz Wire — независимое освещение событий в области искусственного интеллекта каждый день.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →