BYU 연구 결과, AI 스피어 피싱을 발견하기가 점점 더 어려워지고 있음이 밝혀졌습니다.

동료 검토를 거친 BYU 연구에 따르면 AI로 작성된 스피어 피싱 메시지는 인간의 메시지보다 클릭 의도를 더 많이 유도하며 수신자는 누가 메시지를 작성했는지 알 수 없는 것으로 나타났습니다.

인공 지능은 스피어 피싱 사기를 더욱 효과적으로 만들고 있으며 대부분의 사람들은 AI가 작성한 미끼와 사람이 작성한 미끼의 차이를 구분할 수 없습니다. 이는 동료 검토를 거친 Journal of Cybersecurity and Privacy에 발표되고 KSL.com 및 Phys.org의 최근 보도에서 강조된 Brigham Young University의 새로운 연구의 핵심 발견입니다.

BYU의 보도 자료에 따르면 이 작업에 참여한 BYU 사이버 보안 연구원인 Jerson Francia는 "우리 연구는 AI의 현재 상태가 얼마나 정교한지를 보여주는 최신 연구입니다."라고 말했습니다.

연구원들이 한 일

BYU 팀이 작성하고 arXiv에서 사전 인쇄로 제공되는 이 연구에서는 동일한 25개 대상에 대해 GPT-4에서 생성된 개인화된 피싱 문자 메시지와 인간 초보자(시간 제약 하에 글을 쓰는 학생들)가 작성한 메시지를 통제된 비교로 설정했습니다.

참가자들은 각자 자신을 위해 특별히 제작된 12개의 개인화된 메시지 세트를 받았습니다. 일부는 AI로 생성되었고 일부는 인간이 작성했습니다. 연구원들은 참가자들이 메시지 순위를 매기고, 클릭하려는 지점을 표시하고, 추론을 설명하고, 각 메시지가 사람이 쓴 것인지 GPT-4가 쓴 것인지 판단하는 TRAPD(개인화된 속임수에 대한 임계값 순위 접근 방식)라고 부르는 방법을 사용했습니다.

대부분의 초기 피싱 연구에서는 결과를 초록으로 측정했기 때문에 디자인이 중요합니다. 이는 각 참가자에게 개인화된 메시지에 대한 응답을 측정했는데, 이것이 바로 실제 스피어 피싱이 작동하는 방식입니다.

클릭수 증가, 더 나은 감지는 불가능

헤드라인 수치: GPT-4에서 생성된 메시지는 학생이 작성한 메시지보다 더 자주 클릭하려는 의도를 이끌어냈습니다(28% 대 21%). 하지만 연구자들은 파일럿 연구의 규모를 고려할 때 그 차이가 통계적 불확실성을 수반한다고 지적합니다.

더욱 불안한 결과는 참가자들이 할 수 없었던 일입니다. 메시지가 사람이 쓴 것인지 아니면 AI가 생성한 것인지 묻는 질문에 수신자는 우연히 소스를 더 정확하게 식별하지 못했습니다. 즉, 사람들이 기계로 작성된 텍스트에 적용한다고 믿는 추가적인 경계심은 결과에 나타나지 않았습니다. 연구 참가자는 본질적으로 저자에 대해 동전 던지기였습니다.

또한 이 연구에서는 맥락이 콘텐츠보다 중요하다는 사실도 발견했습니다. 즉, 직업 관련 문제를 중심으로 구성된 메시지는 취미나 소셜 미디어와 관련된 메시지보다 클릭하려는 의도를 촉발할 가능성이 훨씬 더 높습니다. 공격자에게는 고용 정보가 온라인에서 가장 쉽게 찾을 수 있는 개인 정보이기 때문에 이는 힘을 배가시키는 요소입니다.

직업 관련 미끼가 가장 효과적인 이유

업무 관련 메시지에 대한 조사 결과는 변호인의 특별한 관심을 받을 가치가 있습니다. 스피어 피싱은 개인화를 통해 성공합니다. 고용주, 역할 또는 현재 프로젝트를 언급하는 메시지는 구체적이기 때문에 합법적이라고 느껴집니다.

BYU 결과는 대규모 언어 모델이 개인화 워크플로우를 극적으로 압축한다는 것을 시사합니다. 한때 숙련된 사회 공학자의 수작업 조사와 신중한 초안 작성에 몇 시간이 걸렸던 작업이 이제 거의 0에 가까운 한계 비용으로 간단한 프롬프트를 통해 대략적으로 계산될 수 있다고 연구진은 썼습니다. 대규모의 개인화된 캠페인을 운영하는 데 있어 장벽은 더 이상 기술이 아닙니다. 챗봇과 대상 목록에 대한 접근입니다.

수비수에게 의미하는 것

실질적인 의미는 보안 팀에 경각심을 불러일으킵니다. 인식 교육은 직원들에게 어색한 표현, 이상한 어조 또는 부자연스러운 언어를 발견하도록 가르치는 경우가 많습니다. 이는 역사적으로 노출된 피싱 시도를 알려줍니다. 이 연구의 수신자는 AI가 작성한 메시지와 사람이 작성한 메시지를 전혀 구별할 수 없었기 때문에 "로봇" 글을 찾아내는 데 의존하는 탐지기는 이제 측정할 수 없을 정도로 신뢰할 수 없습니다.

BYU 팀은 접근 가능한 AI 지원 개인화가 사회 공학 위협의 실제 규모를 증가시킬 수 있다는 증거로 조사 결과를 구성했습니다. 값싸고 일반적인 피싱이 표준으로 남을 것이라고 가정하는 방어는 데이터가 더 이상 지원하지 않는다는 가정을 바탕으로 구축되었습니다.

연구자들은 또한 연구의 한계를 강조합니다. 전문 피싱 범죄자가 아닌 학생 작성자가 포함된 SMS 메시지를 사용하는 25개 표적 파일럿이었습니다. 이는 AI 출력과 평균 실제 사기 품질 사이의 격차를 과소평가하는 비교입니다. 팀은 인간 심사위원이 소스를 구별할 수 없었지만 두 메시지 세트는 계산상 구별이 가능하여 자동화된 탐지 접근 방식을 위한 여지를 남겼다고 지적합니다.

조직의 경우 기술적인 부분보다는 절차적인 부분이 중요합니다. 별도의 채널을 통해 요청을 확인하고, 메시지가 얼마나 세련되었는지에 관계없이 긴급성과 업무 관련 프레이밍을 위험 신호로 처리하고, 잘 작성된 것이 더 이상 사람이 작성한 것을 의미하지 않는다고 가정합니다.