כאשר מדיה שנוצרת בינה מלאכותית מציפה את האינטרנט, טכנולוגיית סימון המים SynthID של גוגל התגלתה כאחד הכלים הבולטים להבחנה בין תוכן אותנטי לדימויים סינתטיים. מבחן מאמץ חדש קפדני מאשר שסימן המים הבלתי נראה עמיד להפליא, שורד מאות סבבים של דחיסה, שינוי גודל ואפילו צילומי מסך, אבל התוצאות גם מדגישות אמת קשה יותר: תוויות טכניות לבדן לא צפויות לפתור את המשבר ההולך וגדל של דיסאינפורמציה בינה מלאכותית. לדיווח שוטף על הפיתוחים האחרונים של AI, הממצאים מסמנים נקודת ביקורת חשובה בדיון על מקור התוכן.
קשה להפריז בהיקף הבעיה. Starling Lab, שיתוף פעולה מחקרי בין אוניברסיטת סטנפורד ואוניברסיטת דרום קליפורניה, מעריך שלקח עד 1975, 149 שנים לאחר המצאת המצלמה, עד שהאנושות הפיקה 1.5 מיליארד תמונות. בינה מלאכותית גנרטיבית התאימה לתפוקה זו תוך 18 חודשים בלבד. בכנס ה-I/O שלה השנה, גוגל הודיעה שהכלים שלה בלבד שימשו ליצירת יותר מ-100 מיליארד תמונות וסרטוני AI תוך כמה שנים.
כיצד פועל SynthID
ישנן כיום שתי גישות עיקריות לתיוג תוכן שנוצר בינה מלאכותית: סימני מים בלתי נראים כמו SynthID וסכימות מטא נתונים כגון תקן Coalition for Content Provenence and Authenticity (C2PA). גוגל משתמשת בשניהם. C2PA מאובטח מבחינה קריפטוגרפית ואי אפשר לזייף, אבל קל להפשיט אותו בצורה טריוויאלית. פשוט עריכה ושמירת תמונה, או צילום מסך, יכולים להסיר לחלוטין מטא נתונים של C2PA.
SynthID נוקט בגישה אחרת. במקום להסתמך על מטא נתונים שנמצאים לצד קובץ, סימן המים מקודד ישירות לפיקסלים של תמונה או וידאו, או לצורת גל של קטע אודיו. מכיוון שהאות שזור בתוכן עצמו, גוגל טענה שהיא צריכה לשרוד את הטרנספורמציות, הדחיסה, החיתוך והקידוד מחדש שמתרחשים באופן טבעי כאשר מדיה עוברת ברחבי האינטרנט.
מבחן מאמץ עבור האות ברמת הפיקסלים
Ars Technica העמידה את הטענות הללו למבחן באמצעות סקריפט Python שנבנה על ספריית ההדמיה של Pillow. הסקריפט דימה אובדן נתונים משיתוף והורדה חוזרים ונשנים בקצב מואץ מאוד, תוך החלת ערכי דחיסה אקראית ושינוי גודל על תמונת בדיקה והזנת כל פלט בחזרה כבסיס לאיטרציה הבאה. שתי תמונות שנוצרו על ידי בינה מלאכותית מדגם Nano Banana Pro של גוגל, אחת שנוצרה לחלוטין מאפס ותמונה מקורית אחת שנערך על ידי AI, שימשו כנבדקים.
לאחר 300 דורות של שיתוף מדומה, שבמהלכם הורד את המקורות החדים לכתמים בקושי ניתנים לזיהוי, סימן המים SynthID עדיין נרשם בשתי התמונות. סימן המים אפילו שרד צילומי מסך מלאים, מכיוון שפיקסלי הסמן המיוחדים עוברים לקובץ החדש. כל 50 דורות הבודק גם ייצר גרסאות חתוכות כדי להחליש עוד יותר את הזיהוי.
איפה SynthID סוף סוף נשבר
גבולות הטכנולוגיה הופיעו רק בתנאים קיצוניים. לאחר 300 מחזורי דחיסה, הסרת קומץ פיקסלים מהגבול של תמונות הבדיקה השפלות שברה סופית את SynthID הן בתמונות שנוצרו במלואן והן בתמונות הערוכות ב-AI. מכיוון שאות סימן המים מופץ בכל הפיקסלים, הוא מתנגד לחיתוך סתמי, אך ברגע שמצטבר מספיק השפלה, ניתן להביס את הגלאי.
מדען Google DeepMind, Pushmeet Kohli, אמר ל-Ars שהצוות תכנן את המערכת בציפייה שהיא תותקף. "במהלך כל תהליך הפיתוח, בערך הנחנו שטכנולוגיה כזו תותקף", אמר קוהלי. "אז עשינו הרבה מחקר כדי להפוך את SynthID לעמיד לסוגים שונים של טרנספורמציות. בין אם אנשים מוסיפים סוג של פילטר או חותכים את התמונה, השתמשנו בטרנספורמציות האלה וידאנו שהגלאי חזק נגדם."
סימני מים מתרחבים בכל התעשייה
המבחן מגיע כאשר אימוץ SynthID מתרחב מעבר למוצרים של גוגל עצמה. החברה יצרה שותפויות להרחבת השימוש בסימן המים, עם OpenAI, Runway ו-Nvidia בין אלה שמתחילות לשלב את הטכנולוגיה בכלים היצירתיים שלהן. גוגל לא ששה לפרסם פרטים טכניים רבים מעבר למאמר המחקר המקורי, וזו הסיבה שבדיקות עצמאיות מהסוג שערכה Ars חשובות ככל שסימן המים מתרבה בנוף הבינה המלאכותית.
תוויות לבד אינן מספיקות
המתח המרכזי שהניסוי חושף הוא שאפילו סימן מים חזק שימושי רק כמו הנכונות של פלטפורמות ואנשים לבדוק אותו. זיהוי SynthID עדיין לא מובנה באופן נרחב ברשתות החברתיות ובאפליקציות העברת ההודעות שבהן רוב המדיה שעברו מניפולציות מתפשטת בפועל. סימן מים ששורד 300 מחזורי דחיסה מציע הגנה מועטה אם אף אחד מהצד המקבל לא סורק אחריו.
תוצאות העמידות מעודדות באמת את תחום האותנטיות של התוכן. הם מציעים שסימון מים בלתי נראה ברמת הפיקסלים יכול לשמש עמוד שדרה טכני אמין למקור. אבל השאלה הרחבה יותר, האם החברה יכולה לבנות את הנורמות, התשתית והתמריצים לפעול על פי האותות הללו, נותרה בלתי פתורה. ככל שנפח המדיה הסינתטית ממשיך לטפס מעבר לאבן הדרך של 100 מיליארד תמונות, הפער בין מה שהטכנולוגיה יכולה לסמן לבין אילו פלטפורמות יתמתן הופך לאתגר המכונן.
הישאר לפני AI
התעדכן בחדשות הבינה המלאכותיות מעצבות המדיניות, המחקר והפלטפורמות שמעצבות מחדש את האינטרנט.
קרא עוד חדשות AI
