מודל סיני בעל משקל פתוח שכל אחד יכול להוריד כמעט השתווה למודל הסייבר המסוגל ביותר של OpenAI בפריצה לרשתות ארגוניות מדומה, על פי תוצאות בנצ'מרק חדשות של חברת ההערכה Vals שדווחה על ידי WIRED.
בבדיקות CyberOffense של Vals, ה-GPT-6 Sol של OpenAI - שהחברה מציעה רק באמצעות תוכנית הסייבר Daybreak מוגבלת הגישה שלה - השלימה כ-81 אחוז מהיעדים. DeepSeek V4.1 Flash, מהדורה חינמית עם משקלים פתוחים, השלימה בערך 73 אחוז מאותם יעדים, כשהוא פועל כסוכן אוטונומי לחלוטין. עוקבים אחרים הציגו את מספר הכותרות של DeepSeek על 72.8 אחוזים.
"יכולת הסייבר שהוגבלה ל-AI עם גישה מהימנה זמינה כעת לכל אחד", כתבה Vals בתוצאותיה. חוקר Vals, Nikil Ravi, אמר ל-WIRED שהדגמים הטובים ביותר הנעולים במעבדות AI "מתחילים להתאים למודלים פתוחים שכל אחד יכול להוריד".
איך Vals ניהלה את המבחן
Benchmark CyberOffense של Vals משתמש בשני טווחי סייבר מדומים. הראשונה, הנקראת נובה, היא רשת Windows בת 21 אובייקטים המשתרעת על מספר תחומים של Active Directory. השני, Lighthouse, מכיל 31 יעדים על פני שתי חברות, כאשר הסוכן חייב תחילה להשתלט על רשת אחת ולאחר מכן להשתמש באישורים ובמידע שנמצא שם כדי לפרוץ לתרחיש השני - תרחיש המשקף חדירות רב-שלביות בעולם האמיתי.
כל דגם רץ בסוכן Pi בקוד פתוח על מכונה מבודדת של Kali Linux, עם מגבלת זמן של 48 שעות ותקציב של 500 מיליון אסימון. חשוב לציין, Vals זיכה מטרה רק כאשר סמנים נסתרים הופיעו בפלט הפקודה - אף פעם לא בטענה של המודל עצמו שזה הצליח.
המספרים ופער העלויות
DeepSeek עמד על ממוצע של 16.3 מתוך 21 היעדים של נובה, ובעצם הקצה את ה-15.7 של Daybreak ברשת הראשונה. Daybreak משך קדימה בטווח המגדלור הקשה יותר, והשלים 27 מתוך 31 יעדים ל-21 של DeepSeek.
ההבדל הבולט יותר היה העלות. WIRED העמיד את המחיר של ריצת התקפה מלאה בערך של $2 עד $3 עבור DeepSeek, מול $17 עד $46 עבור GPT-6 Sol. בטווח Nova באופן ספציפי, DeepSeek השלימה את עבודתה תמורת פחות מ-3 דולר לריצה לעומת כ-22 דולר עבור Daybreak.
Vals גם הבחינה ש-DeepSeek לא השלימה דבר בכלל ב-25 מיליון האסימונים הראשונים שלה ועשתה את רוב ההתקדמות שלה אחרי 100 מיליון - פרופיל קצב שמציע הערכות קצרות ומוגבלות מחשוב ממעיטות באופן שיטתי מה מודלים פתוחים זולים יכולים לעשות בהינתן זמן ותקציב.
איך הצליחו דוגמניות אחרות
DeepSeek לא הובילה את תחום המשקולות הפתוחות ללא עוררין - אבל אף אחד אחר לא תפס את זה. Kimi K3.1 Pro, Meta's Wonder ו-Grok 4.7 של xAI סיימו כולם מאחורי DeepSeek בהשוואת שבעת הדגמים של Vals.
ה-GLM 5.3 Flash של Z.ai הגיע למקום האחרון, והשלים חמישה יעדים בכל טווח. Vals כינה את זה "המבוי הסתום הכי ברור" של הקבוצה: בטווח אחד, הדוגמנית בילה כ-36 שעות - חלק ניכר מהן בסקר עבודת רקע שלא חזרה.
מעריכים אחרים מדרגים את מודל ה-GLM-5.3 המלא גבוה בהרבה במשימות סייבר. חברת הבדיקות Irregular מצאה שהיא השלימה 3 מתוך 13 תרחישי תקיפה מרובי-שלבים - התוצאה הטובה ביותר שהיא רשמה ממודל זמין בגלוי - ו-NIST כינתה אותו מודל הסייבר בעל המשקל הפתוח המסוגל ביותר שיצא עד כה, והעריך שהוא נמצא כארבעה חודשים מאחורי מערכות מובילות בארה"ב. Anthropic בנפרד אמרה לרויטרס כי GLM-5.3 בנה ניצול עבודה ב-12% מהניסיונות, לעומת 14% עבור קלוד מיתוס שלה. Vals מציין כי מדובר במבחנים שונים שלא ניתן להשוות את הציונים שלהם ישירות לתוצאות CyberOffense.
למה זה חשוב
התוצאות מחדדות דיון מתמשך על מעקות הבטיחות סביב יכולות סייבר בינה מלאכותית. תוכנית Daybreak של OpenAI קיימת במיוחד כדי לשמור על מודלים של סייבר בעלי יכולת גבוהה מאחורי בדיקות זהות וגישה מוגבלת, מתוך התיאוריה שאסור להפיץ יכולת סייבר פוגענית באופן חופשי. הורדה חינם הגוררת אחרי דגם מוגבל בכמה נקודות בלבד - בעוד שהיא עולה בסדר גודל פחות לכל פעולה - מסבכת את התמונה הזו במידה ניכרת.
זה חשוב גם למגנים. צוותי אבטחה המתכננים נגד תוקפים בסיוע בינה מלאכותית כבר לא יכולים להניח שיכולת התקפית אוטונומית רצינית דורשת גישה לדגמים מוגבלים של מעבדה או תקציב גדול. כפי שהמסגור של Vals עצמו מרמז, רצפת היכולות עולה מהר יותר ממה שבקרות הגישה יכולות להכיל אותה.
OpenAI לא הגיב על ההשוואה בדוחות. DeepSeek לא הגיבה מיד לבקשות להגיב.
אתגר מתודולוגיית בדיקה
מעבר לציוני הכותרות, התוצאות נושאות שיעור כיצד נמדדות יכולות סייבר בינה מלאכותית. בחירות העיצוב של Vals - חלונות ארוכים של 48 שעות, תקציבים של חצי מיליארד אסימון ואימות באמצעות סמנים נסתרים במקום הצלחה מדווחת עצמית - נתפסות יותר ויותר כהכרחיות כדי להעריך מערכות סוכן בצורה הוגנת. ריצות מבחן קצרות יותר וזולות יותר היו משיגות ציון נמוך בהרבה של DeepSeek בהתחשב בהתחלה האיטית שלה, מיסוך יכולות שהופיעו עם יותר מחשוב.
יש לכך השלכות מעשיות על המדיניות. הגבלות גישה כמו תוכנית Daybreak של OpenAI מכוילות מול יכולת מדודה, ואם שיטות הערכה ממעידות באופן שיטתי על מה שמודלים פתוחים יכולים לעשות, מעקות בטיחות עלולים לפגר אחרי המציאות. לוח התוצאות של CyberOffense של Vals, שהחברה אומרת שהיא תמשיך לעדכן, עשוי להפוך לאחד מלוחות התוצאות הנצפים יותר בקהילת אבטחת הבינה המלאכותית כתוצאה מכך.
לעת עתה, המסר מהנתונים בוטה: הפער בין מה שמעבדות שומרות מאחורי תוכניות מוגבלות לבין מה שכל אחד יכול להוריד הולך ומצטמצם עד לנקודה שבה הוא עשוי להימדד בקרוב בחודשים ולא בדורות של דגמים.
הישאר לפני AI
עקוב אחר כל שחרור דגמים, קרב מבחן וקפיצת יכולת במקום אחד ב-AI Buzz Wire.
קרא עוד חדשות AI →
