מדדי AI מחליטים אילו מודלים מגיעים לכותרות - והחברות שבונות את המודלים הללו למדו כיצד לנצח אותם. סטארט-אפ בשם Vals, שהוקם ב-2024, מהמר שהתעשייה זקוקה לשופט שאי אפשר לשחק בבדיקות שלו, והמשקיעים פשוט תמכו בהימור הזה בגדול: Vals גייסה סדרה A של 40 מיליון דולר בהובלת אנדריסן הורוביץ בחודש שעבר, לאחר סבב סיד בראשות 8VC ו-Bloomberg Beta.
העלייה של החברה מגיעה על רקע אי-הנוחות הגוברת לגבי האופן שבו נמדדות יכולות בינה מלאכותית, ומה קורה כאשר המדד הופך לכלי שיווקי. למידע נוסף על העסקים של AI, עקוב אחר סיקור תעשיית AI.
כאשר בנצ'מרקים הופכים לשיווק
בנצ'מרקינג הפך לנורמה בתעשייה לאימות יכולות דגמי בינה מלאכותית - וכאשר המספרים משנים את דרכה של חברה, לעליונות פרסומית על פני מתחרים. אמות מידה טובות אומרות יחסי ציבור טובים.
הבעיה, לפי המייסד והמנכ"ל של Vals, רייאן קרישנן, היא שמדדים עתיקים רבים נבנו עבור דור קודם של דגמים, וחברות הבינו כיצד לבצע אופטימיזציה מולם. כאשר חומרי הבדיקה הם פומביים, ניתן למעשה לאמן מודל לעבור את הבחינה - מנהג שהתעשייה תיארה באופן שונה כזיהום, התאמת יתר או רמאות מוחלטת.
"ראינו חבורה של דגמים חדשים ומסוגלים מאוד מגיעים לשוק במהירות, והאמות מידה האקדמיות לא עמדו בקצב ההתקדמות הזו", אמר קרישנן בראיון ל-TechCrunch.
מבחנים פרטיים, משימות בעולם האמיתי
Vals נוקט בגישה שונה בשתי חזיתות. ראשית, היא לא חושפת בפומבי את חומרי הבדיקה הספציפיים שלה, מה שמקשה בהרבה על חברה להכשיר את המודלים שלה נגד הבחינה. שנית, במקום למדוד ידע מופשט - האם מודל יכול לענות על שאלות בסגנון מבחן בר - Vals מעריך כיצד מודלים מבצעים משימות מורכבות בתעשיות ספציפיות כמו משפטים, פיננסים וקידוד.
"מה שאנחנו עושים זה בעצם לבחון מהן ההשפעות האמיתיות של הדגמים", אמר קרישנן. "האם הם יכולים לעשות עבודה שמייצר מוצר באותה איכות כמו אדם בכל תחום?"
החברה מודדת גם מצבי כישלון, לא רק הצלחות. קרישנן אמר שואלס שואף לנתח "אם המודלים הללו ישתוללו בעולם, מה יהיו ההשלכות השליליות" - פילוסופיית הערכה שמתייחסת לסיכון השלילי כאל תפוקה ניתנת למדידה ולא כמחשבה שלאחר מכן.
מחוק ומימון ועד אמנות ז'נבה ושיפור עצמי רקורסיבי
היקף ההערכות של Vals ממשיך להתרחב מעבר לשורשי השירותים המקצועיים שלה. לצד מדדי החוק, הפיננסים והקידוד, קרישנן אמר שהחברה מפעילה כעת מבחנים בבריאות הנפש, אבטחת סייבר וביו-אבטחה, ואפילו אמת מידה לשיפור עצמי רקורסיבי - נושא שנדון בדרך כלל בחוגי בטיחות בינה מלאכותית מאשר בחבילות הערכה מסחריות.
אולי הבולטת ביותר היא עבודתה על חוק הסכסוך המזוין, שם ואלס בוחנת כיצד מודלים מבינים ומיישמים את אמנת ז'נבה. הרוחב מסמן מהיכן מגיע הביקוש: לא רק מעבדות דוהרות ללוחות המובילים, אלא ארגונים ומוסדות שזקוקים לראיות כיצד מודלים מתנהגים בתחומים עתירי סיכון לפני פריסתם.
המודל העסקי: שלם כדי לגשת למבחן
חברות משלמות ל-Vals כדי להעריך את המודלים שלהן - הסדר שיכול להיראות מנוגד לאינטואיציה. למה שחברה תשלם עבור תוצאות שעלולות להביך אותה? קרישנהן משווה את המודל לסטודנט שמשלם למועצת המכללה כדי לקחת את ה-SAT: מדידה עצמאית, אפילו לא מחמיאה, עוזרת לחברה לפתור בעיות ולהשתפר עם הזמן.
נראה שהשוק מגיב. Vals אומרת שההכנסות שלה כרגע פי שמונה ממה שהיו בשנה שעברה, והצוות שלה גדל פי שלושה מתחילת השנה, וגדל משמונה אנשים ל-25. החברה פועלת ממשרד בן שתי קומות ברחוב Folsom של סן פרנסיסקו - בניין לשעבר של מבשלת בירה שמאכלס כיום מספר סטארט-אפים.
הערכות הופכות גם לגורמי קבלת החלטות עבור ארגונים שקונים מודלים של בינה מלאכותית, על פי החברה, מה שמעניק למבדקים תפקיד קרוב יותר לבדיקת נאותות מאשר לשיווק.
מייסד בן 25 עם מושב בשורה הראשונה
קרישנן, בן 25, התמחה בפאלנטיר, ובתור תואר ראשון בסטנפורד, עבד עבור מיקרוסופט ומעבדת הבינה המלאכותית הידועה של האוניברסיטה. לדבריו, Vals נולד מצפייה בהערכה נופלת מאחורי התעשייה שהיא הייתה אמורה למדוד - פער שרק התרחב ככל שדגמים חדשים מגיעים מהר יותר מכפי שניתן לעצב, לאמת ולפרסם מדדים אקדמיים.
הסטארט-אפ מצטרף כעת לקבוצה קטנה אך צומחת של חברות המנסות למסד הערכת בינה מלאכותית, מרחב הכולל מאמצים אקדמיים, פרויקטי Leaderboard בקוד פתוח ומכוני בטיחות. מה שמייחד את Vals הוא מודל המבחן הפרטי שלה וההתמקדות שלו בהערכות בתשלום, ספציפיות לתעשייה ולא בדירוג ציבורי.
למה זה חשוב
בעיית האמינות של תעשיית הבינה המלאכותית עם אמות מידה מתועדת היטב: ערכות בדיקה שדלפו, קפיצות חשודות בלוח המובילים וטענות שיווקיות שעולות על הביצועים בעולם האמיתי. אם קונים - במיוחד ארגונים וממשלות - יתחילו להסתמך על הערכות פרטיות מבוססות משימות כמו של Vals, התמריצים למפתחי מודלים עשויים לעבור מהוראה למבחן לעבר יכולת אמיתית.
זה רחוק מלהיות מסודר. אמת מידה פרטית עדיין מבקשת מהקונים לסמוך על השופט, והלקוחות של Vals הם אותן חברות שמדורגות. אבל עם צמיחה של 40 מיליון דולר בסדרה A, פי שמונה צמיחה בהכנסות ובביקוש המתפרש על מימון ועד אבטחה ביולוגית, ההימור הוא שהערכה של תחושה עצמאית הופכת לתשתית - שירות שכלכלת הבינה המלאכותית תשלם עבורו בין אם התוצאות מחמיאות לה ובין אם לאו.
הישאר לפני AI
מי מודד את המודדים? עקוב אחר העסק של הערכת בינה מלאכותית והסטארט-אפים המעצבים אותו ב-AI Buzz Wire, המקור שלך לחדשות הבינה המלאכותיות.
קרא את החדשות האחרונות של AI →
