OpenAI שיבשה רשת הונאה מתואמת מונעת ChatGPT הפועלת מפויפט, קמבודיה, החברה חשפה בדו"ח המפרט כיצד קבוצות פשע מטמיעות כעת מודלים של בינה מלאכותית מסחרית בפעילות היומיומית של מתחמי עבודת כפייה.
החשיפה, שפורסמה ב-31 ביולי תחת הכותרת "שיבוש מבצע הונאה פלילי", מתארת סינדיקט שהשתמש ב-ChatGPT לא רק כדי להונות קורבנות ברחבי העולם אלא גם כדי לנהל את הפעילות הפנימית של מפעל המקושר לסחר. המקרה מציע צוהר לאופן שבו מודלים של שפות גדולים משמשים מחדש כתשתית מבצעית לפשע מאורגן. לדיווח שוטף על השימוש לרעה ומעקות הבטיחות של AI, עקוב אחר ההתפתחויות האחרונות ב-AI ב-AI Buzz Wire.
כיצד פעלה הרשת
על פי הממצאים של OpenAI, המיזם הפלילי הסתמך על ChatGPT כדי לתרגם את פניית הקורבנות, ליצור ממשקי השקעות הונאה ולנסח הודעות משפטיות מזויפות. מפעילים התמקדו באנשים באמצעות פלטפורמות העברת הודעות כולל WhatsApp וטלגרם, ועברו על אופניים במחזור חיים של הטעיה תלת שלבי.
התוכנית התחילה בדרך כלל עם פתיחות רומנטיות שנועדו לבנות אמון, ואז פנתה לפלטפורמות השקעה מזויפות של מטבעות קריפטוגרפיים, ולבסוף הסלימה לאיומים בקנסות מזויפים של רשויות החוק כאשר הצעות מוקדמות נכשלו. המפעילים לא הגבילו את עצמם לאחת הונאה אחת - הם שילבו הגדרות רומנטיות עם שולחנות מסחר מזויפים בזהב והפנו יעדים לערוצי הימורים, תוך מיקסום מספר הנתיבים לתשלום.
מה שייחד את המבצע הזה היה קנה המידה והמשמעת של השימוש בבינה מלאכותית שלה. במקום להריץ קומץ הנחיות חד-פעמיות, הסינדיקט סידר מודלים יצירתיים כדי לייצר תקשורת משכנעת, מקומית בנפח גבוה במספר שפות.
ממד עבודת הכפייה
הממצאים המטרידים ביותר הגיעו לא מההונאה מול הקורבן אלא מהפעילות הפנימית של הקבוצה. יומנים מיידיים ששוחזרו במהלך החקירה חשפו שמפעילים השתמשו ב-ChatGPT למשימות ניהוליות בתוך מתחמי הונאה פיזיים הממוקמים ליד הגבול בין תאילנד לקמבודיה.
יומנים אלו כללו תרגום תקשורת של ההנהלה, רישום חובות עובדים, תיעוד יציאות ויזה ומעקב אחר קנסות משמעת. חלק מהערכים התייחסו למעצר כפוי, פועלים נמלטים ורשתות סחר בבני אדם. הפרטים מתיישבים עם שנים של דיווחים על מתחמי הונאה בדרום מזרח אסיה, המפתים לעתים קרובות מחפשי עבודה עם הצעות מנהליות הונאה לפני שהחרימו דרכונים וכפו עליהם לעבוד בפשעי סייבר תוך איום באלימות.
במילים אחרות, דגמי הבינה המלאכותית עשו חובה כפולה: הופעלו בנשק נגד קורבנות חיצוניים ובמקביל שימשו כתוכנת ניהול עבור כוח עבודה שבוי.
התגובה של OpenAI
OpenAI מסרה כי היא זיהתה וניתקה את החשבונות הקשורים למבצע, וחסמה את הגישה של הסינדיקט למודלים שלו. החברה אפיינה את השיבוש כחלק ממאמץ רחב יותר לאתר ולפרק רשתות המנצלות לרעה את הפלטפורמה שלה לפשיעה פיננסית והפרות זכויות אדם.
המקרה מדגיש אתגר הולך וגובר עבור ספקי AI. שחקנים זדוניים כבר לא מתייחסים למודלים של שפות מסחריות רק כאל כלי נשק חיצוניים - הם פורסים אותם כתווך מבצעי, שוזרים אותם במנגנון האחורי של מפעלים פליליים. זיהוי סוג כזה של התעללות דורש הסתכלות מעבר להנחיות ברורות מול קורבן.
בעיית זיהוי חדשה
ניתוח אבטחה של הפעולה מצביע על כך שסינון פשוט של מילות מפתח בהנחיות הקשורות להונאה אינו מספיק. מקרי השימוש האדמיניסטרטיבי - תרגום תזכירים, מעקב אחר חובות, רישום נוכחות - נקראים כאומיומיים במנותק וקשה הרבה יותר לסמן אותם מתסריטי הונאה גלויים.
על פי סיקור ההפרעה, גילוי התעללות מסוג זה דורש יותר ויותר שיתוף מודיעין חוצה פלטפורמות וניתוח התנהגותי של הנחיות מנהליות, כאשר פעולות פליליות משאירות עקבות מבצעיות ברורות גם כאשר הבקשות האישיות נראות טובות. הנחיה המבקשת ממודל "לתרגם את הודעת המנהל הזו" אינה חשודה מטבעה - אבל מאות הנחיות כאלה, שמקורן בחשבונות המקושרים למתחם ידוע, יוצרות דפוס.
התמונה הגדולה יותר
הפעולה בקמבודיה היא האות האחרון לכך שמשטח השימוש לרעה עבור AI גנראטיבי התרחב הרבה מעבר לזיופים עמוקים ודואר זבל. ככל שהטכנולוגיה מתבגרת, השימוש לרעה בעל הערך הגבוה ביותר עשוי להיות הפחות גלוי: בינה מלאכותית מנהלת בשקט את הלוגיסטיקה של עסק לא חוקי, מתרגום קורבן לניהול כוח אדם.
עבור OpenAI ומתחריה, השינוי הזה מעלה שאלות קשות לגבי עד כמה אחריות הניטור צריכה להתרחב. ספקים יכולים להשעות חשבונות, אבל התרכובות הבסיסיות, רשתות הסחר ותנאי עבודת הכפייה נשארים. שיבוש השכבה הדיגיטלית עוזר, אך אינו מפרק את התשתית הפיזית המקיימת את הפעולות הללו.
החשיפה מגיעה גם על רקע רגע רגולטורי רחב יותר. עם כניסת חוקי השקיפות החדשים לתוקף והלחץ הגובר על חברות בינה מלאכותית להתחשב בשימוש במודלים שלהן, מקרים כמו זה עשויים לעצב הן את סדרי העדיפויות באכיפה והן את ספקי האבטחה הטכניים המובנים במערכות עתידיות.
זה גם מדגיש אסימטריה לא נוחה. אותן יכולות שפה שהופכות את ChatGPT לבעל ערך לעסקים לגיטימיים - תרגום, ניסוח, תקציר - הן בדיוק מה שהופכות אותו לאטרקטיבי עבור מפעלים פליליים הפועלים חוצי גבולות ושפות. מודל שיכול לעזור לעסק קטן להגיע ללקוחות בתריסר מדינות יכול באותה קלות לעזור לסינדיקט הונאה למקד קורבנות בכל יבשת. ההבדל טמון לא בטכנולוגיה אלא בתשתית העוטפת אותה, ושם לספקים יש הכי פחות נראות.
מה שיבוא אחר כך
החשיפה של OpenAI בולטת בשקיפות שלה כמו בשיבוש עצמו. על ידי פרסום פרטים על אופן פעולת הרשת, החברה מציעה תבנית שספקים אחרים וסוכנויות אכיפת חוק יכולים להשתמש בה כדי לזהות התעללות דומה. אבל המקרה גם מבהיר שהשעיית חשבונות, גם אם נחוצות, הן אמצעי תגובתי נגד יריב שיכול ליצור זהויות חדשות ולהעביר פעולות בקלות יחסית.
עבור צוותי אבטחה וספקי בינה מלאכותית כאחד, הפתרון הוא שהגנה מפני סוג זה של ניצול לרעה ידרוש השקעה מתמשכת בזיהוי דפוסים, שיתוף נתונים בין חברות ושיתוף פעולה עם הרשויות שיכולות לפעול נגד התרכובות הפיזיות עצמן. השכבה הדיגיטלית והשכבה הפיזית, כפי שהמקרה הזה מדגים, כבר אינן ניתנות להפרדה.
הישאר לפני AI
למידע נוסף על סיכוני האבטחה, הדילמות האתיות ודיוני המדיניות סביב בינה מלאכותית, התעדכן בחדשות הבינה המלאכותיות מ-AI Buzz Wire.
קרא עוד חדשות AI →
