קונסורציום של מוסדות מחקר גרמניים וחברות בינה מלאכותית פרסמו את Soofi S 30B-A3B, מודל של שפה פתוחה שלדברי הפרויקט משיג את הציונים הגבוהים ביותר הן במדדים באנגלית והן בגרמנית בקרב מודלים פתוחים לחלוטין. המתואם על ידי KI Bundesverband, איגוד הבינה המלאכותית הלאומי של גרמניה, המהדורה היא אחד מדגמי השפה הגדולים הראשונים שהוכשרו במלואם על ענן הבינה המלאכותית התעשייתית של דויטשה טלקום במינכן וממוקמת כאלטרנטיבה אירופאית ריבונית לגרסת המשקל הפתוח הדומיננטי בארצות הברית ובסין. עבור מפתחים העוקבים אחר הפיתוחים האחרונים של AI, ההשקה בולטת פחות בקנה מידה גולמי מאשר ביעילות יוצאת הדופן ומיקוד השפה המוטבעים בארכיטקטורה.

עיצוב היברידי עם רק 3.2 מיליארד פרמטרים פעילים

Soofi S הוא מודל של תערובת של מומחים (MoE) עם 31.6 מיליארד פרמטרים בסך הכל, אך הוא מפעיל רק כ-3.2 מיליארד לכל אסימון שנוצר. זה מקרוב את עלות החישוב שלו למודל של 3 מיליארד פרמטרים מאשר דגם רגיל של 30 מיליארד פרמטרים צפוף, בחירה עיצובית שמטרתה לשמור על מסקנות זולות מספיק כדי לרוץ על תשתית אירופית ללא הסתמכות על ספקי ענן בחו"ל.

הארכיטקטורה שאולה מ-Nvidia Nemotron 3 Nano, המשלבת שכבות Mamba-2 עם שכבות קשב סטנדרטיות בפריסה היברידית. על פי דוח ההכשרה של הפרויקט, רק 6 מתוך 52 השכבות של הדגם שומרות על מטמון מפתח-ערך (KV) - מבנה הזיכרון המאחסן אסימונים קודמים לחישוב קשב. בשנאים קונבנציונליים, המטמון הזה גדל באופן ליניארי עם אורך ההקשר והופך לצוואר בקבוק מרכזי במהלך הסקת הקשר ארוך.

התמורה המעשית מופיעה בתפוקה. באורך הקשר של 40,000 אסימונים עם 32 בקשות מקבילות, Soofi S מייצר בערך פי שמונה יותר אסימונים לשנייה לכל GPU מאשר דגמים צפופים בטווח של 14 עד 24 מיליארד פרמטרים. בעוד שמהירות היצירה של דגמים קונבנציונליים יורדת בחדות ככל שהקשר גדל, Soofi S נשארת כמעט שטוחה מ-4,000 אסימונים עד ל-256,000 אסימונים. הדגם היחיד המקביל במדידות הקונסורציום הוא ה-Qwen3.5 35B-A3B של עליבאבא, שגם הוא משתמש בארכיטקטורה היברידית.

מאומן לגרמנית, מבלי להקריב אנגלית

ההתמקדות המכוונת בגרמנית היא מרכזית בפרויקט. בשלב ההכשרה הראשון, גרמן מהווה 7.2 אחוז מתמהיל הנתונים; בשלב השני, נתח זה עולה ל-15.3%. לשם השוואה, במתכון ההתייחסות לנמוטרון של Nvidia כל השפות הלא-אנגלית ביחד מהוות רק כ-5 אחוזים מתמהיל האימונים.

מקורות הנתונים כוללים טקסט אינטרנט גרמני מקורפוס HPLT, קורפוס הגרמני ברישיון גלוי, חלקים גרמניים של FinePDF ו-FineWiki, וארכיון Genios בעל רישיון מסחרי של 193 מיליון מאמרים בעיתונים שנלקחו מ-916 פרסומים גרמניים. טקסטים גרמניים מתורגמים במכונה ומוצרים סינתטיים משלימים את התמהיל.

המודל עיבד בערך 27 טריליון אסימונים על פני שלושה שלבי אימון: כ-20 טריליון אסימונים של רשת רחבה, קוד, מתמטיקה וטקסט ספציפי לתחום בשלב הראשון; בסביבות 6 טריליון אסימונים באיכות גבוהה יותר בשני; ושלב שלישי קצר יותר המרחיב את חלון ההקשר באמצעות מסמכים באורך של עד מיליון אסימונים.

תוצאות בנצ'מרק: קדימה בגרמנית ובאנגלית, חלש יותר במתמטיקה

בהערכות מול 16 מודלים פתוחים אחרים, Soofi S מובילה את כל המודלים הפתוחים לחלוטין בציונים מצטברים עבור גרמנית ואנגלית כאחד, על פי הקונסורציום. זה כולל את OLMo 3 32B ממכון Allen for AI ואת Apertus 70B מ-ETH ציריך ו-EPFL. מול כל קו בסיס ריבוני אירופאי, הדגם יוצא קדימה בכל המדדים הגרמניים בסוויטה, לפעמים בשוליים דו ספרתיים.

במשימות קוד, Soofi S זוכה לציון של 73.8 אחוזים ב-HumanEval, 70.2 ב-MBPP ו-84.2 ב-MBPP הגרמנית - התוצאות הטובות ביותר בקרב עמיתים בקוד פתוח. ב-INLUDE-DE, מבחן לידע אזורי ספציפי לגרמניה, Soofi S תופסת את המקום הראשון ב-61.2 נקודות עם ה-Qwen3.5 35B-A3B הגדול יותר. בהשוואה לקו הבסיס של Nemotron, מתכון הנתונים במשקל גרמני משפר את מיומנות השפה ב-15.1 נקודות ואת רף המדעי GPQA-Diamond ב-9.6 נקודות, מבלי לפגוע בביצועים באנגלית.

יש חולשות ברורות. במתמטיקה בתחרות גרמנית (Minerva MATH-DE), סופי S משיגה 56 נקודות, הרבה אחרי Qwen3.5 35B-A3B ב-76.5 ו-Gemma 3 27B ב-65.6. זה גם נמשך אחרי אחזור עובדות פתוח ב-NaturalQuestions, שהצוות מייחס לכך שיש רק כ-3 מיליארד פרמטרים פעילים ולכן פחות ידע עולמי מאוחסן מאשר מודל 27B צפוף. מבחן ההקשר הארוך של RULER מגלה פער נוסף: כאשר המודל צריך לחלץ מילים המתרחשות בתדירות גבוהה מטקסט ארוך, שיעור הפגיעה שלו יורד לכ-3 אחוזים מעבר ל-32,000 אסימונים, בעוד שמודל הנמוטרון המקביל עדיין מצליח להגיע ל-60 עד 64 אחוזים.

מאומן על 512 Nvidia B200 GPUs במינכן

ריצת ההדרכה התקיימה בין מרץ למאי 2026 על עד 512 Nvidia B200 GPUs בענן ה-Industrial AI של Deutsche Telekom במינכן, בהיקף כולל של כ-253,000 שעות GPU. המתקן פועל כולו על אנרגיה מתחדשת, מקורר במים מתעלת אייזבך, ומזין פסולת חום לשכונת Tucherpark שמסביב, על פי הדיווח. Soofi S הייתה אחת מהריצות האימונים הגדולות הראשונות שבוצעו על תשתית זו.

הקונסורציום שעומד מאחורי המודל ממומן על ידי המשרד הפדרלי הגרמני לענייני כלכלה ואנרגיה כחלק מתוכנית IPCEI-CIS האירופית. המשתתפים כוללים את מכוני Fraunhofer IAIS ו- IIS, מרכז המחקר הגרמני לבינה מלאכותית (DFKI), TU Darmstadt, אוניברסיטת וירצבורג, מרכז המחקר L3S, אוניברסיטת ברלין למדעים יישומיים, וחברות בינה מלאכותית Ellamind ו-Merantix Momentum.

ויכוח על 'אימון יתר'

זמן קצר לאחר ההשקה, המבקרים טענו ש-Soofi S אומנה יתר על המידה על פי הסטנדרטים של חוקי קנה המידה הקלאסיים של צ'ינצ'ילה שפורסמו על ידי Google DeepMind בשנת 2022, אשר הצביעו על נקודה מתוקה גסה של 20 אסימונים לכל פרמטר. עם 27 טריליון אסימונים וכ-30 מיליארד פרמטרים, Soofi S נוחתת על כמה מאות אסימונים לכל פרמטר; ספירת 3.2 מיליארד הפרמטרים הפעילים בלבד דוחפת את היחס לאלפים.

מייקל פרום, חלק מההנהגה הטכנית של הפרויקט, דחה את הביקורת הזו, וטען שהכללים הללו אינם עוברים לארכיטקטורות של משרד הביטחון. "יש מחקר חדש שמראה שחוקי קנה המידה הישנים ממודלים צפופים אינם חלים עוד על ארכיטקטורות MoE", אמר פרום, וציין שמומחים בודדים נהנים מלראות את אותם מסמכים שוב ושוב במערך נתונים גדול ואיכותי. כנקודת השוואה, הוא הצביע על Nvidia, שהכשירה דגמים משלה על עד 25 טריליון אסימונים.

מה משתחרר ומה לא

החוקרים משחררים משקלי מודל יחד עם נקודות ביניים נבחרות, קוד ההדרכה וההערכה המלא, ומלאי נתונים מפורט המפרט ספירות אסימונים גולמיים, מספרי עידן ותרומות יעילות לכל מקור. לדברי הצוות, המשמעות היא ש-Soofi S עומדת ב- Open Source AI Definition 1.0 מיוזמת ה-Open Source.

הצעה מחמירה יותר להגדרה אירופית של נתונים פתוחים, שתחייב כל אסימון אימון בודד להיות ניתן להפצה חופשית, לא מתקיימת מכיוון ש-1.3 אחוזים מהתערובת מגיעים מהקורפוס של Genios בעל רישיון מסחרי. הדוח אומר שעדיין ניתן לשחזר כ-99 אחוז מנתוני ההדרכה באופן עצמאי. הרישיון המדויק לשחרור הדגם לא סוכם במועד הפרסום.

הקונסורציום מחפש כעת שותפים בתעשייה לשלב הבא לבדיקת Soofi S ביישומים הכוללים מסמכים טכניים, יצירת קוד ומערכות מבוססות סוכנים. למידע נוסף על מהדורות מודלים בעלי משקל פתוח, תשתית AI ריבונית והאקולוגית של AI האירופית, התעדכן בסיקור תעשיית AI שפורסם כאן.

הישאר קדימה ב-AI בקוד פתוח

מהדורות במשקל פתוח מגיעות כמעט מדי שבוע ממעבדות בארה"ב, סין ועכשיו באירופה, והפער בין הדגמים הקנייניים הגדולים ביותר לבין האלטרנטיבות הפתוחות הטובות ביותר מצטמצם. עקוב אחר חדשות הבינה המלאכותית וניתוח השוואות כאן לתמונה המלאה.

קרא עוד סיקור מודל AI →