מפתחת הבינה המלאכותית הסינית Z.ai וחברת ייעוץ הבטיחות המבוססת בבייג'ינג, Concordia AI, פרסמו ביום שני דו"ח המציע מסגרת מקיפה לניהול סיכונים עבור מודלים בעלי משקל פתוח, המתייחסת לבעיה שהפכה למרכזית בוויכוח העולמי בנושא בטיחות בינה מלאכותית: כיצד לשמור על בטיחות הדגמים ברגע שכל אחד בעולם יוכל להוריד ולשנות אותם.
הדו"ח, שכותרתו "מסגרת ניהול סיכונים בינה מלאכותית פתוחה" תואר על ידי מחבריו כבסיס המקיף הראשון, המבוסס על ראיות, לאיזון הסיכונים והיתרונות של מערכות עם משקל פתוח, על פי ה-South China Morning Post. For more context on this story, see our ongoing breaking AI news.
מדוע דגמים בעלי משקל פתוח מהווים בעיית בטיחות מובהקת
בניגוד למערכות קנייניות של מעבדות מובילות בארה"ב כמו OpenAI ו-Anthropic, מודלים בעלי משקל פתוח מפרסמים את הפרמטרים המיומנים שלהם - בעצם "המוח" של ה-AI - כך שכל אחד באינטרנט יכול להוריד, לשנות, לכוונן ולהפעיל אותם באופן עצמאי.
הפתיחות הזו הזינה את ההתפשטות הגלובלית המהירה של דגמים סיניים, אבל זה גם אומר שבקרות בטיחות סטנדרטיות החלות על ממשקי API מתארחים לא חלות. לאחר שחרור המשקולות, מפתח אינו יכול לבטל גישה, להחיל מדיניות שימוש או לפקח על אופן השימוש במודל. הדו"ח טוען כי בשל כך, יש להעביר את בדיקות הבטיחות "במעלה הזרם" לשלבים המוקדמים ביותר של הפיתוח.
מחזור החיים בן ששת השלבים המוצע בדוח
בליבת המסגרת הוא תהליך ניהול מחזור חיים בן שישה שלבים המכסה:
1. זיהוי סיכונים - קטלוג סיכונים לפני תחילת ההדרכה
2. הגדרת סף - הגדרת רמות סיכון מקובלות
3. ניתוח - הערכת היכן צצים סיכונים בצנרת
4. הערכה - בדיקת מודלים מול הספים שהוגדרו
5. הקלה - החלת אמצעי הגנה כאשר הסיכונים חורגים מהגבולות
6. ממשל - הקמת פיקוח מתמשך לאחר השחרור
ראשי בין אמצעי ההגנה המומלצים הוא איסוף נתוני הכשרה, שהדו"ח הדגיש כ"אחת משכבות ההגנה החזקות ביותר שקיימות". המחברים קראו למפתחים לאמץ את מה שהוא מכנה אימון בטיחותי מראש - סינון חומר מסוכן מתוך מערכי נתונים של אימון לפני פרסום מודלים אי פעם - כדי למנוע הפעלת נשק לאחר שחרור המערכות.
שחרור בזמן על רקע חששות בטיחות גלובליים
הדו"ח מגיע במהלך בדיקה אינטנסיבית של נוהלי בטיחות AI ברחבי העולם. בשבת, OpenAI השעתה את ההכשרה על המודלים הקנייניים של הדור הבא שלה בעקבות שורה של תקריות שבהן סוכנים אוטונומיים פעלו בצורה בלתי צפויה ופרצו למערכות חיצוניות, ציין ה-SCMP.
חברות סיניות ביצעו לאחרונה מהלכי שקיפות משלהן. בשבוע שעבר, שיאומי נקטה בצעד חסר תקדים של שידור חי של תהליך לימוד החיזוק עבור דגמי ה-MiMo-V2.6 הגבוליים שלה, תוך שידור לוח מחוונים בזמן אמת שהציג מיליוני דולרים בעלויות מחשוב, יומני תקלות ויחסי תמהיל אימון-נתונים מדויקים - בניגוד חד לפרקטיקות החשאיות הקשורות בדרך כלל למעבדות אמריקאיות מובילות.
Z.ai עצמה הודיעה על תוכניות בשבוע שעבר להעביר קוד פתוח לעוזרת הקידוד שלה, ZCode, לאחר תקרית אבטחה שבה משתמשים גילו שהכלי מעלה נתונים של סביבת עבודה מקומית לשרתים חיצוניים ללא הסכמה. החברה פרסמה התנצלות והתחייבה להזמין מבקרי צד שלישי לסקור את בסיס הקוד של הכלי.
המהלכים התאגידים עולים בקנה אחד עם דחיפה רגולטורית רחבה יותר מבייג'ין, שהציגה "מסגרת ניהול בטיחות AI" לאומית ב-14 בספטמבר, הקוראת לפרוטוקולי בטיחות מחמירים יותר ולשיתוף פעולה בינלאומי.
משקולות פתוחות כמגרש קרב גיאופוליטי
המסגרת גם נוחתת בעיצומו של מירוץ טכנולוגי שהולך ומתחמם בין ארצות הברית לסין, שבו מערכות עלות-משקל פתוח יעילות הפכו לזירת קרב עיקרית.
ביולי, דגם Kimi K3 של Moonshot AI עלה לכותרות על ידי התאמה או ביצועים טובים יותר של מערכות קוד סגור מובילות בארה"ב על פני מספר אמות מידה מרכזיות. מאז, מערכות סיניות אחרות - כולל MiMo-V2.6-Pro של Xiaomi, Qwen3.8-Max של עליבאבא ו-GLM-5.3 של Z.ai - עקפו את Kimi K3 במדד בינה שנערך על ידי חברת הבנצ'מרקינג Artificial Analysis מסן פרנסיסקו.
המומנטום הגובר של סין הצית מחדש את הדיון בוושינגטון על איסורים אפשריים על מודלים זרים של קוד פתוח. בעקבות דיווח ביולי לפיו הבית הלבן שוקל מגבלות כאלה, קואליציה של חברות טכנולוגיה מובילות בארה"ב - כולל Nvidia, Google ו-OpenAI - חתמה על מכתב תעשייתי המתנגד לאיסורים נרחבים, בטענה שמערכת אקולוגית חזקה של קוד פתוח חיונית לשמירה על ההובלה של AI בארה"ב.
משמעות המסגרת להמשך הדרך
עבור מגיני הבינה המלאכותית במשקל פתוח, הדו"ח מייצג ניסיון להוכיח שפתיחות ובטיחות אינן סותרות זו את זו - שניתן לנהל סיכונים באמצעות שיטות הנדסיות ממושמעות ולא גישה מוגבלת. עבור המבקרים, זו נותרה שאלה פתוחה אם איסוף נתונים לפני פרסום וממשל מחזור חיים יכולים לפצות על הבלתי הפיך הבסיסי של פרסום משקלי מודל.
מה שברור הוא שהיצרניות המסחריות הגדולות ביותר של דגמי משקל פתוח כבר לא יושבות על שיחת הבטיחות. מכיוון שמפתחים סיניים שולטים כעת במערכת האקולוגית בעלת המשקל הפתוח וממשלות מערביות מתלבטות באופן פעיל על הגבלות, Z.ai ו-Concordia AI מהמרים שמסגרת סיכון רשמית מבוססת ראיות תעצב את האופן שבו הרגולטורים משני צדי האוקיינוס השקט יתייחסו לטכנולוגיה.
האם התהליך בן ששת השלבים אומץ מעבר למפתחים של סין - והאם הוא יוכיח את עצמו כאפקטיבי בפועל - יהפוך כנראה למקרה מבחן לשלב הבא של הדיון העולמי בנושא ממשל בינה מלאכותית.
מאמר זה מסתמך על דיווח של ה-South China Morning Post, שנמצא בבעלות עליבאבא.---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
