Kecerdasan buatan membuat penipuan spear phishing menjadi lebih efektif, dan kebanyakan orang tidak dapat membedakan antara umpan yang dibuat oleh AI dan yang dibuat oleh manusia. Hal ini merupakan temuan inti dari penelitian baru dari Brigham Young University, yang diterbitkan dalam Journal of Cybersecurity and Privacy dan disorot dalam liputan terbaru oleh KSL.com dan Phys.org.
“Penelitian kami hanyalah penelitian terbaru yang menunjukkan betapa canggihnya kondisi AI saat ini,” kata Jerson Francia, peneliti keamanan siber BYU yang terlibat dalam penelitian ini, menurut rilis berita BYU.
Apa yang Dilakukan Peneliti
Studi tersebut, yang ditulis oleh tim BYU dan tersedia sebagai pracetak di arXiv, membuat perbandingan terkontrol antara pesan teks phishing yang dipersonalisasi yang dihasilkan oleh GPT-4 dan pesan yang ditulis oleh manusia pemula – siswa yang menulis dalam batasan waktu – untuk 25 target yang sama.
Masing-masing peserta menerima satu set 12 pesan pribadi yang dibuat khusus untuk mereka. Ada yang dihasilkan oleh AI, ada pula yang ditulis oleh manusia. Para peneliti menggunakan metode yang mereka sebut TRAPD – Pendekatan Pemeringkatan Ambang untuk Penipuan yang Dipersonalisasi (Threshold Ranking Approach for Personalized Deception) – yang mana partisipan mengurutkan pesan, menunjukkan titik di mana mereka ingin mengklik, menjelaskan alasan mereka, dan menilai apakah setiap pesan ditulis oleh seseorang atau oleh GPT-4.
Desainnya penting karena sebagian besar studi phishing sebelumnya mengukur hasil secara abstrak. Yang satu ini mengukur tanggapan terhadap pesan yang dipersonalisasi untuk masing-masing peserta, dan itulah cara kerja spear phishing yang sebenarnya.
Lebih Banyak Klik, Tanpa Deteksi Lebih Baik
Angka-angka utama: Pesan yang dihasilkan GPT-4 menimbulkan niat untuk mengklik lebih sering dibandingkan pesan yang dibuat oleh siswa — 28% berbanding 21% — meskipun para peneliti mencatat bahwa perbedaan tersebut membawa ketidakpastian statistik mengingat ukuran studi percontohan tersebut.
Hasil yang lebih meresahkan adalah apa yang tidak dapat dilakukan oleh para peserta. Ketika ditanya apakah suatu pesan ditulis oleh manusia atau dihasilkan oleh AI, penerima mengidentifikasi sumbernya tidak lebih akurat daripada kebetulan. Dengan kata lain, kekhawatiran ekstra yang diyakini orang-orang terhadap teks yang ditulis mesin tidak muncul dalam hasil – para peserta penelitian pada dasarnya hanya mengandalkan kepenulisan.
Studi ini juga menemukan bahwa konteks mengalahkan konten: pesan yang dirangkai seputar masalah pekerjaan secara signifikan lebih mungkin memicu niat untuk mengklik dibandingkan pesan yang terkait dengan hobi atau media sosial. Bagi penyerang, hal ini merupakan pengganda kekuatan, karena rincian pekerjaan adalah salah satu informasi pribadi yang paling mudah ditemukan secara online.
Mengapa Umpan Terkait Pekerjaan Berhasil Terbaik
Temuan mengenai pesan-pesan terkait pekerjaan patut mendapat perhatian khusus dari para pembela HAM. Spear phishing berhasil melalui personalisasi — pesan yang merujuk pada perusahaan Anda, peran Anda, atau proyek Anda saat ini terasa sah karena spesifik.
Hasil BYU menunjukkan bahwa model bahasa besar memampatkan alur kerja personalisasi tersebut secara dramatis. Apa yang dahulu memerlukan penelitian manual selama berjam-jam dan penyusunan draf yang cermat oleh seorang insinyur sosial yang terampil kini dapat diperkirakan dari petunjuk sederhana dengan biaya marjinal yang mendekati nol, tulis para peneliti. Kendala dalam menjalankan kampanye yang besar dan terpersonalisasi bukan lagi keterampilan. Ini adalah akses ke chatbot dan daftar target.
Apa Artinya bagi Pembela HAM
Implikasi praktisnya sangat serius bagi tim keamanan. Pelatihan kesadaran sering kali mengajarkan karyawan untuk mengenali ungkapan yang canggung, nada yang aneh, atau bahasa yang tidak wajar — yang menunjukkan upaya phishing yang pernah terjadi. Detektor yang mengandalkan deteksi tulisan "robot" kini tidak dapat diandalkan karena penerima dalam penelitian ini sama sekali tidak dapat membedakan pesan yang ditulis oleh AI dan pesan yang ditulis oleh manusia.
Tim BYU menyusun temuan ini sebagai bukti bahwa personalisasi yang dapat diakses dengan bantuan AI dapat meningkatkan skala praktis ancaman rekayasa sosial. Pertahanan yang berasumsi bahwa phishing yang murah dan umum akan tetap menjadi norma dibangun berdasarkan asumsi yang tidak lagi didukung oleh data.
Para peneliti juga menekankan batasan penelitian. Ini adalah uji coba 25 target yang menggunakan pesan SMS, dengan penulis mahasiswa dan bukan phisher profesional – sebuah perbandingan yang, jika ada, mengecilkan kesenjangan antara output AI dan rata-rata kualitas penipuan di dunia nyata. Tim mencatat bahwa meskipun hakim manusia tidak dapat membedakan sumbernya, kedua rangkaian pesan tetap dapat dibedakan secara komputasi, sehingga memberikan ruang untuk pendekatan deteksi otomatis.
Bagi organisasi, hal yang dapat diambil lebih bersifat prosedural dibandingkan teknis: verifikasi permintaan melalui saluran terpisah, perlakukan urgensi dan kerangka terkait pekerjaan sebagai sinyal risiko terlepas dari seberapa halus pesan yang terbaca, dan asumsikan bahwa pesan yang ditulis dengan baik tidak lagi berarti tulisan manusia.
Tetap Terdepan dalam AI
Melacak bagaimana AI mengubah keamanan dan masyarakat? Baca berita AI selengkapnya di AI Buzz Wire — liputan AI independen, setiap hari.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
