חברת בינה מלאכותית הגרמנית Aleph Alpha פרסמה את Kolibri, מודל שפת תערובת של מומחים בעל משקל פתוח שנבנה מהיסוד עבור גרמנית ואנגלית. הדגם מכיל 78.1 מיליארד פרמטרים בסך הכל, אך מפעיל רק 3.46 מיליארד מהם לכל אסימון - כ-4.4% - ונשלח תחת רישיון Apache 2.0 המתירני ב-Hugging Face. הוא מקבל עד 1,048,576 אסימוני הקשר ומאפשר למשתמשים להגדיר מאמץ הגיוני לכל בקשה. לקוראים שעוקבים אחר המערכת האקולוגית עם המשקולות הפתוחות, זה נוחת לצד הפיתוחים האחרונים של AI.
המהדורה היא הצהרה מכוונת לגבי המקום שבו Aleph Alpha רואה את השוק שלה: פריסה ריבונית במגזרים מוסדרים כמו מינהל ציבורי, תעשייה וחלל, היכן לדעת בדיוק היכן הוכשר המודל, על אילו נתונים, ותחת איזו מסגרת משפטית אינה דרישת רכש.
מה זה בעצם קוליברי
Kolibri, המכונה Kolibri-1 בחומרים הטכניים, הוא שנאי דו לשוני אנגלית-גרמנית MoE שלדברי Aleph Alpha פותח מקצה לקצה על ידי צוותים בגרמניה. על פי דוח המחקר הטכני של החברה, הצוות שלט בצנרת המלאה - נתונים, ארכיטקטורה, תשתית הדרכה, פוסט אימון והערכה - במקום להתחיל ממחסום של מעבדה אחרת.
ההדרכה התנהלה על תשתית הממוקמת בגרמניה ובפינלנד. תהליך התכנון מכוון במפורש לעמידה בקוד הנוהג של האיחוד האירופי למטרות כלליות של AI, חוק הבינה המלאכותית של האיחוד האירופי ו-GDPR, ו-Aleph Alpha חתומה על הקוד הזה. החברה טוענת כי צינור הנתונים שלה מסיר נתונים אישיים לפני הכשרה, פרט המכוון ישירות לקונים במגזר הציבורי שאינם יכולים באופן חוקי להזין נתונים של אזרחים במודלים של מוצא לא ברור.
הוא פועל על GPU יחיד
יכולת הפריסה הייתה ללא ספק אילוץ עיצובי, לא מחשבה שלאחר מכן. נקודת המחסום FP8 שוקלת בערך 78GB ופועלת על NVIDIA B200, B300 או H200 בודד - או על שני H100 SXM5 GPUs - המוגשים דרך vLLM עם ניתוחי נימוקים ייעודיים של Kolibri ומנתחי כלים. עבור מודל של 78 מיליארד פרמטרים, זוהי טביעת רגל צנועה של חומרה, וזו התמורה הישירה של תכנון משרד הבריאות הדל: עם רק 3.46 מיליארד פרמטרים פעילים לכל אסימון, עלות ההסקה עוקבת אחר ספירת הפרמטרים הפעילים במקום הכוללת.
מומחים דלילים ותשומת לב היברידית
מתחת למכסה המנוע עורם קוליברי 50 בלוקים שנאים ברוחב הדגם של 2,560. כל שכבת MoE מציינת את כל 384 המומחים המנותבים עם נתב sigmoid, שולחת כל אסימון ל-6 המובילים, ותמיד מפעילה לצידם מומחה משותף אחד. עומס המומחים מאוזן באמצעות שתי טכניקות עם שמות מרק אלפביתיים - איזון כמות מדויק והזרקת שגיאות עומס - שמונעות מהנתב למוטט את כל התעבורה על קומץ מומחים.
תשומת לב היא המקום שבו הארכיטקטורה נעשית מעניינת יותר. קוליברי משתמש בקשב מקובץ עם 48 ראשי שאילתות ו-4 KV ראשי, אך השכבות אינן אחידות: כל בלוק חמישי משתמש בתשומת לב מלאה ללא קידוד מיקום, בעוד ש-40 הבלוקים האחרים משתמשים בתשומת לב של חלון הזזה על פני 512 האסימונים הקודמים, עם RoPE. התוצאה המעשית היא יעילות זיכרון - שכבות חלון הזזה מחזיקות מטמון KV בגודל קבוע, כך שרק 10 מתוך 50 השכבות גדלות עם אורך ההקשר. במחשוב מותאם, Aleph Alpha מדווח שהעיצוב ההיברידי תומך ברצפים ארוכים פי ארבעה ממודל שווה ערך עם תשומת לב מלאה. כך דגם בגודל כזה טוען לחלון הקשר של מיליון אסימון ללא תשתית אקזוטית.
אסימון שנבנה עבור גרמנית
רוב אסימוני הגבולות מתייחסים לגרמנית כאל מחשבה שלאחר מכן, ומפצלים את המילים המורכבות הארוכות שלה לשברים שמנפחים את ספירת האסימונים והעלויות האפקטיביות. Aleph Alpha תקף את זה ישירות עם UniBPE, אוצר מילים של 128,000 אסימונים שבונה מיזוגים כמו ש-BPE עושה, אך משיג כל מיזוג על ידי אובדן Unigram.
המספרים עושים את המקרה. בטקסט גרמני, האסימון של Kolibri מגיע ל-4.90 בתים לאסימון, לעומת 4.35 עבור הטוקניר GPT-5 - כלומר 11.2 אחוז פחות אסימונים בטקסט אינטרנט גרמני. באנגלית, Kolibri למעשה יוצא גם קדימה, עם 4.58 בתים לאסימון מול 4.67 של GPT-5. עבור לקוחות ארגוניים המשלמים לפי האסימון, זוהי הנחה ישירה על כל עומס עבודה בשפה הגרמנית.
מאומן בקנה מידה גבול
ריצת האימונים מאחורי קוליברי היא משמעותית. האימון המקדים כיסה 20 טריליון אסימונים ב-768 GPUs של NVIDIA B200, ואחריו 3.44 טריליון אסימוני אימון באמצע באורך רצף של 65,536 אסימונים. לאחר מכן, הצינור עבר דרך שלבי כוונון עדין ולמידת חיזוק מפוקחים כדי לייצר את המודל הסופי העוקב אחר ההוראה, בעל יכולת החשיבה. החברה פרסמה דו"ח מחקר טכני המכסה את התהליך, רמת חשיפה יוצאת דופן עבור מעבדה אירופאית וכזו שמטרתה בבירור לבנות אמון עם לקוחות מוסדרים.
מה זה אומר על הדחיפה של AI באירופה
קוליברי נכנס לשוק שבו פרסומים בעלי משקל פתוח ממעבדות אמריקאיות וסיניות שולטים בשיחה, ושבו ממשלות אירופה גדלו יותר ויותר קולניות לגבי ריבונות דיגיטלית. ההימור של אלף אלפא הוא שחלק מהשוק הזה - משרדים, תעשייה ביטחונית צמודה, תשתית קריטית - ישלם עבור מודל שהוא לא רק בעל משקל פתוח אלא אירופאי בוודאות בטיפול בנתונים, במיקום ההדרכה ובעמדה המשפטית שלו.
האם ההימור הזה משתלם תלוי בשאלות שהמהדורה עדיין לא עונה עליה: כיצד קוליברי מבצע אמות מידה מול מודלים פתוחים על בסיס הערכות סטנדרטיות, וכמה מהר נוצרת סביבו מערכת אקולוגית של כלים. מה שהמהדורה כן קובעת הוא שקיימת כעת יכולת אימון של ערימה מלאה, צמודה לגבול, בתוך האיחוד האירופי, עם הניירת מתאימה. עבור ארגונים המחויבים ל-GDPR ולחוק ה-AI, השילוב הזה עשוי להיות חשוב יותר מאשר עמדות Leaderboard.
---
הישאר לפני AIקבל את החדשות העדכניות ביותר של AI, ניתוח ופריצות דרך - הכל במקום אחד.
קרא עוד חדשות AI →
