בינה מלאכותית הופכת הונאות דיוג בחנית ליעילות יותר, ורוב האנשים לא יכולים להבחין בין פיתוי שנכתב ב-AI לבין פיתוי שנכתב על ידי אדם. זהו ממצא הליבה של מחקר חדש מאוניברסיטת בריגהם יאנג, שפורסם בכתב העת הבודק Journal of Cybersecurity and Privacy והובלט בסיקור האחרון של KSL.com ו-Phys.org.
"המחקר שלנו הוא רק האחרון כדי להראות עד כמה מתוחכם המצב הנוכחי של AI", אמר ג'רסון פרנסיה, חוקר אבטחת סייבר של BYU המעורב בעבודה, לפי מהדורת החדשות של BYU.
מה החוקרים עשו
המחקר, שנכתב על ידי צוות BYU וזמין כהדפסה מוקדמת ב-arXiv, הגדיר השוואה מבוקרת בין הודעות טקסט דיוג מותאמות אישית שנוצרו על ידי GPT-4 לבין הודעות שנכתבו על ידי טירונים אנושיים - סטודנטים כותבים במגבלות זמן - עבור אותם 25 יעדים.
כל אחד מהמשתתפים קיבל סט של 12 הודעות מותאמות אישית שנוצרו במיוחד עבורם. חלקם נוצרו בינה מלאכותית, חלקם נכתבו על ידי אדם. החוקרים השתמשו בשיטה שהם מכנים TRAPD - The Threshold Ranking Approach for Personalized Deception - שבמסגרתה המשתתפים דירגו את ההודעות, ציינו את הנקודה שבה הם מתכוונים ללחוץ, הסבירו את הנימוקים שלהם ושפטו אם כל הודעה נכתבה על ידי אדם או על ידי GPT-4.
העיצוב חשוב מכיוון שרוב מחקרי הדיוג המוקדמים יותר מדדו את התוצאות בתקציר. זה מדד תגובות להודעות המותאמות אישית לכל משתתף בנפרד, וכך בדיוק עובד דיוג חנית אמיתי.
קליקים נוספים, אין זיהוי טוב יותר
מספרי הכותרות: הודעות שנוצרו על ידי GPT-4 עוררו כוונה ללחוץ בתדירות גבוהה יותר מאשר הודעות שנכתבו על ידי סטודנטים - 28% לעומת 21% - אם כי החוקרים מציינים שההבדל נושא אי ודאות סטטיסטית בהתחשב בגודלו של מחקר הפיילוט.
התוצאה המדאיגה יותר היא מה שהמשתתפים לא יכלו לעשות. כשנשאלו אם הודעה נכתבה על ידי אדם או נוצרה על ידי AI, הנמענים זיהו את המקור בצורה לא מדויקת יותר מאשר במקרה. במילים אחרות, הזהירות הנוספת שאנשים מאמינים שהם מיישמים על טקסט שנכתב במכונה לא הופיעה בתוצאות - משתתפי המחקר בעצם הטילו מטבעות על מחבר.
המחקר גם מצא שהקשר מנצח תוכן: הודעות שמוסגרות סביב עניינים הקשורים לעבודה היו בסבירות גבוהה יותר לעורר כוונה ללחוץ מאשר הודעות הקשורות לתחביבים או מדיה חברתית. עבור תוקפים, זה מכפיל כוח, מכיוון שפרטי תעסוקה הם בין המידע האישי הקל ביותר למצוא באינטרנט.
מדוע פתיונות הקשורים לעבודה עובדים הכי טוב
הממצא על מסרים הקשורים לעבודה ראוי לתשומת לב מיוחדת מצד המגינים. דיוג בחנית מצליח באמצעות התאמה אישית - הודעה שמתייחסת למעסיק שלך, לתפקיד שלך או לפרויקטים הנוכחיים שלך מרגישה לגיטימית בדיוק בגלל שהיא ספציפית.
תוצאות ה-BYU מצביעות על כך שמודלים של שפה גדולים דוחסים את זרימת העבודה להתאמה אישית באופן דרמטי. מה שפעם דרש שעות של מחקר ידני וניסוח קפדני על ידי מהנדס חברתי מיומן ניתן כעת להערכה מהנחיות פשוטות בעלות שולית כמעט אפסי, כותבים החוקרים. החסם בפני ניהול קמפיין גדול ומותאם אישית אינו עוד מיומנות. זוהי גישה לצ'אט בוט ולרשימת יעדים.
מה זה אומר עבור מגינים
ההשלכות המעשיות מדאיגות עבור צוותי האבטחה. הכשרה למודעות מלמדת לעתים קרובות עובדים לזהות ניסוחים מביכים, טון מוזר או שפה לא טבעית - מספרת על ניסיונות דיוג שנחשפו היסטורית. גלאי המסתמך על איתור כתיבה "רובוטית" אינו אמין כעת באופן מדיד, שכן הנמענים במחקר זה לא יכלו להבחין כלל ב-AI שנכתבו מהודעות שנכתבו על ידי אדם.
צוות BYU מסגר את הממצאים כעדות לכך שהתאמה אישית נגישה בעזרת AI עשויה להגדיל את ההיקף המעשי של איומים הנדסיים חברתיים. הגנות המניחות שדיוג גנרי זול יישאר הנורמה בנויות על הנחה שהנתונים כבר לא תומכים בה.
החוקרים מדגישים גם את גבולות המחקר. זה היה פיילוט של 25 יעדים באמצעות הודעות SMS, עם מחברים של סטודנטים ולא עם דיוגים מקצועיים - השוואה שאם בכלל, ממעיטה בפער בין תפוקת בינה מלאכותית לאיכות תרמית ממוצעת בעולם האמיתי. הצוות מציין שבעוד שופטים אנושיים לא יכלו להבדיל בין המקורות, שני ערכות ההודעות נותרו ניתנות להבדלה חישובית, מה שהותיר מקום לגישות זיהוי אוטומטיות.
עבור ארגונים, הטייק-אווי הוא פרוצדורלי ולא טכני: אמת בקשות בערוצים נפרדים, התייחס לדחיפות ולמסגור הקשור לעבודה כאותות סיכון ללא קשר למידת המלוטש של ההודעה, והנח שכתוב היטב אינו משמעו עוד כתוב אנושי.
הישאר לפני AI
עוקב אחר איך בינה מלאכותית מעצבת מחדש את האבטחה והחברה? קרא עוד חדשות בינה מלאכותית על AI Buzz Wire - סיקור AI עצמאי, כל יום.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
