Trí tuệ nhân tạo đang làm cho các vụ lừa đảo trực tuyến trở nên hiệu quả hơn và hầu hết mọi người không thể phân biệt được sự khác biệt giữa mồi nhử do AI viết và mồi do con người viết. Đó là phát hiện cốt lõi của nghiên cứu mới từ Đại học Brigham Young, được công bố trên Tạp chí An ninh mạng và Quyền riêng tư được bình duyệt và được nêu bật trong bài đưa tin gần đây của KSL.com và Phys.org.
Jerson Francia, nhà nghiên cứu an ninh mạng của BYU tham gia vào công việc này, cho biết: “Nghiên cứu của chúng tôi chỉ là nghiên cứu mới nhất cho thấy tình trạng AI hiện tại phức tạp đến mức nào”.
Những gì các nhà nghiên cứu đã làm
Nghiên cứu do nhóm BYU thực hiện và có sẵn dưới dạng bản in trước trên arXiv, đã thiết lập một so sánh có kiểm soát giữa các tin nhắn văn bản lừa đảo được cá nhân hóa do GPT-4 tạo ra và các tin nhắn được viết bởi những người mới làm quen — những sinh viên viết trong điều kiện hạn chế về thời gian — cho cùng 25 mục tiêu.
Mỗi người tham gia đều nhận được một bộ 12 tin nhắn được cá nhân hóa được tạo riêng cho họ. Một số do AI tạo ra, một số do con người viết. Các nhà nghiên cứu đã sử dụng một phương pháp mà họ gọi là TRAPD - Phương pháp xếp hạng ngưỡng cho hành vi lừa dối được cá nhân hóa - theo đó những người tham gia xếp hạng các tin nhắn, chỉ ra điểm mà họ định nhấp vào, giải thích lý do của họ và đánh giá xem mỗi tin nhắn được viết bởi một người hay bởi GPT-4.
Thiết kế này quan trọng vì hầu hết các nghiên cứu lừa đảo trước đây đều đo lường kết quả một cách trừu tượng. Công cụ này đo lường phản hồi đối với các tin nhắn được cá nhân hóa cho từng cá nhân người tham gia, đó chính xác là cách hoạt động của lừa đảo trực tuyến thực sự.
Nhiều nhấp chuột hơn, không phát hiện tốt hơn
Các con số tiêu đề: Tin nhắn do GPT-4 tạo đã gợi ra ý định nhấp thường xuyên hơn tin nhắn do sinh viên viết - 28% so với 21% - mặc dù các nhà nghiên cứu lưu ý rằng sự khác biệt mang đến sự không chắc chắn về mặt thống kê dựa trên quy mô của nghiên cứu thí điểm.
Kết quả đáng lo ngại hơn là điều mà những người tham gia không thể làm được. Khi được hỏi liệu tin nhắn được viết bởi con người hay do AI tạo ra, người nhận chỉ xác định được nguồn gốc một cách tình cờ. Nói cách khác, sự thận trọng hơn mà mọi người tin rằng họ áp dụng cho văn bản viết bằng máy không hiển thị trong kết quả - những người tham gia nghiên cứu về cơ bản đang tung đồng xu về quyền tác giả.
Nghiên cứu cũng phát hiện ra rằng bối cảnh đánh bại nội dung: các tin nhắn xoay quanh các vấn đề liên quan đến công việc có nhiều khả năng kích thích ý định nhấp chuột hơn so với các tin nhắn gắn liền với sở thích hoặc mạng xã hội. Đối với những kẻ tấn công, đó là một hệ số nhân mạnh mẽ, bởi vì chi tiết việc làm là một trong những thông tin cá nhân dễ tìm thấy nhất trên mạng.
Tại sao mồi liên quan đến công việc lại hiệu quả nhất
Phát hiện về các thông điệp liên quan đến công việc đáng được các luật sư đặc biệt quan tâm. Lừa đảo trực tuyến thành công thông qua việc cá nhân hóa — một thông báo đề cập đến chủ lao động, vai trò của bạn hoặc các dự án hiện tại của bạn có vẻ hợp pháp chính xác vì nó cụ thể.
Kết quả của BYU cho thấy các mô hình ngôn ngữ lớn nén quy trình cá nhân hóa đó một cách đáng kể. Các nhà nghiên cứu viết rằng những gì từng đòi hỏi hàng giờ nghiên cứu thủ công và soạn thảo cẩn thận bởi một kỹ sư xã hội lành nghề giờ đây có thể được tính gần đúng từ những lời nhắc đơn giản với chi phí cận biên gần như bằng 0. Rào cản để thực hiện một chiến dịch lớn, được cá nhân hóa không còn là kỹ năng nữa. Đó là quyền truy cập vào chatbot và danh sách mục tiêu.
Ý nghĩa của nó đối với Người bảo vệ
Những tác động thực tế đang khiến các đội an ninh phải tỉnh táo. Việc đào tạo nâng cao nhận thức thường dạy nhân viên cách phát hiện các cụm từ khó xử, giọng điệu kỳ quặc hoặc ngôn ngữ không tự nhiên — cho biết các nỗ lực lừa đảo đã bị vạch trần trong lịch sử. Một máy dò dựa vào việc phát hiện chữ viết "robot" hiện không đáng tin cậy về mặt đo lường, vì người nhận trong nghiên cứu này không thể phân biệt được tin nhắn do AI viết với tin nhắn do con người viết.
Nhóm BYU coi những phát hiện này là bằng chứng cho thấy việc cá nhân hóa có thể truy cập được hỗ trợ bởi AI có thể làm tăng quy mô thực tế của các mối đe dọa kỹ thuật xã hội. Các biện pháp phòng vệ cho rằng hành vi lừa đảo chung chung, rẻ tiền sẽ vẫn là tiêu chuẩn được xây dựng dựa trên giả định rằng dữ liệu không còn hỗ trợ nữa.
Các nhà nghiên cứu cũng nhấn mạnh những hạn chế của nghiên cứu. Đó là một thí điểm nhắm vào 25 mục tiêu sử dụng tin nhắn SMS, với các tác giả là sinh viên chứ không phải những kẻ lừa đảo chuyên nghiệp - một sự so sánh, nếu có, sẽ đánh giá thấp khoảng cách giữa đầu ra AI và chất lượng lừa đảo trung bình trong thế giới thực. Nhóm nghiên cứu lưu ý rằng mặc dù con người không thể phân biệt được các nguồn, nhưng hai bộ thông báo vẫn có thể phân biệt được về mặt tính toán, nhường chỗ cho các phương pháp phát hiện tự động.
Đối với các tổ chức, bài học rút ra mang tính thủ tục hơn là kỹ thuật: xác minh các yêu cầu thông qua các kênh riêng biệt, coi tính khẩn cấp và khung liên quan đến công việc là tín hiệu rủi ro bất kể thông báo được đọc bóng bẩy như thế nào và cho rằng văn bản tốt không còn có nghĩa là do con người viết.
Đi trước AI
Theo dõi AI đang định hình lại an ninh và xã hội như thế nào? Đọc thêm tin tức về AI trên AI Buzz Wire — đưa tin về AI độc lập hàng ngày.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
