Perplexity פרסמה פוסט מפורט על Decider v1.3, הגרסה החדשה ביותר של משפחת מודל ההחלטות שלה, שכותרתו "Perplexity Decider v1.3: מקרי הדרכה, הערכה ושימוש". הפוסט הגיע לדף הראשון של האקר ניוז ביום שישי וצבר יותר מ-140 נקודות בתוך שעות, כאשר מפתחים סחרו בתוצאות מדד הייחוס והתווכחו היכן המודלים הללו באמת מתאימים. למידע נוסף על זה ועל חדשות בינה מלאכותיות, אנו עוקבים אחר כל מהדורת דגמים בזמן שהוא נוחת.

תשומת הלב היא פחות על עדכון אחד ויותר על מה שהפתיל חושף: תוך שנה בקושי, מודלים של החלטות הפכו מסקרנות לקטגוריה צפופה עם אמות מידה משלהן, היגיון תמחור משלהן ותחום תחרותי שכולל כעת את Perplexity, TypeSafe, Microsoft, Google, Cloudflare ו-OpenAI.

מה שמודל החלטה עושה בעצם

ההגדרה הברורה ביותר מגיעה מ-Artificial Analysis, מעבדת ההערכה העצמאית שמדד ההחלטות שלה v2.1 הפך ל-Leaderboard של הקטגוריה. במסביר שלו, מודל החלטה לוקח שאלה עם סט קבוע של אפשרויות - למשל, כרטיס תמיכה ששואל אם לנתב לחיוב או טכני, האם זה דחוף, ועד כמה הלקוח מוטרד - ומחזיר תשובה לכל אפשרות עם הסתברות מצורפת, והכל בשיחה אחת.

מודל שפה למטרות כלליות, לעומת זאת, מייצר פלט מובנה שאותו יש לנתח, ומודל חשיבה מוציא חשיבה ממוחשבת נוספת לפני שהוא עונה. מודלים של החלטות מדלגים על זה. הם מאומנים לבחור, לא להסביר, וזה מה שהופך אותם למהירים וזולים מספיק כדי לרוץ על כל מסמך, כל בקשה, בווליום גבוה.

כיצד נמדדת הקטגוריה

אינדקס החלטות לניתוח מלאכותי v2.1, מעודכן בעמוד מתודולוגיה ציבורי, משלב שש הערכות עם משקלים שפורסמו: AA-Paperclip ב-30 אחוז, המריץ 1,500 קורות חיים, קבלות, חשבוניות ועבודות מחקר באמצעות החלטות וחילוץ עובדות; EvalSafe-ONET-AA ב-15 אחוזים, בהתבסס על רף ONET של TypeSafe של פסקי דין לגבי מסמכים במקום העבודה; When2Call ב-10 אחוזים, הערכת כלים של NVIDIA; AA-מדעי הכל-Decision v1.1 ב-15 אחוז עבור ידע והזיה; HLE-MultiChoice v1.1 ב-15 אחוז, השאלות מרובות-ברירה בלבד מהבחינה האחרונה של האנושות עם אפשרות לדחות; ו-AA-Symmetry v1.1 ב-15 אחוז, שבודקת שהחלטה מתקיימת כאשר האפשרויות שלה מועברות, מנוסחות מחדש או מבוטלות.

המבחן האחרון הוא התל. מודל שהופך את התשובה שלו כאשר אתה הופך את סדר האפשרויות אינו מחליט למעשה - הוא תואם דפוסים. מתייחסים לכיול, חוסר שונות ולדעת מתי לדחות כדרישות ממדרגה ראשונה, לא כבונוסים.

מה שרשור חדשות האקר מוסיף

תמיהה העלתה לראשונה משקל פתוח של בן משפחה בן 27 מיליארד פרמטרים, pplx-decider-v1-27b, ב-Huging Face בתחילת אוקטובר, כך שלקהילה היו ידיים על הדגמים הללו במשך שבועות. התגובה לגרסה 1.3 הייתה מעורבת באופן שנקרא כמו שוק בריא ולא כמו מחזור הייפ.

מפתח אחד דיווח ש-Decider v1.3 הראה רווחים הן ביחס לגרסה 1.2 והן מה-Jev 1.14 של TypeSafe על ההערכות הפנימיות שלהם עבור משימת חילוץ והתאמה של ישות. אחר אמר שהוא מתפקד היטב בהשוואה המקומית שלהם ומתומחר בצורה תחרותית, וציין שארכיטקטורת תשומת לב דו-כיוונית עשויה להתאים לעבודת החלטות. אחרים נרתעו: מגיב אחד מצא את v1.3 צעד אחורה עבור מקרה השימוש שלהם ואמר שהאינדקס הציבורי הסכים, ואחר שאל אם גרסאות הבזק מדללות את ההבטחה המרכזית של הקטגוריה לגבי החלטות זולות ומדויקות בתפזורת.

השרשור עלה גם על פני המערכת האקולוגית שמסביב - מודלים של Clef של Cloudflare ומודל מיצוי Clairic, ה-ScaleDown API, D1 של Liquid ומודל ההחלטות של OpenAI עצמו - כאשר מספר מפתחים ציינו שהמדד של Artificial Analysis, הכולל עלות למשימה וכיול לצד דיוק, הוא ההשוואה היחידה בין ספקים.

למה זה חשוב

כיסינו את העלייה של הקטגוריה הזו צעד אחר צעד: מודל Jev system-one של TypeSafe, Decision-1 של מיקרוסופט בנוי על Qwen, ו-Decisions API של Google עם מודל Gemini Decision-1 שלה. משלוח נבוכה גרסה 1.3 מאשרת את הדפוס - כל פלטפורמת בינה מלאכותית גדולה רוצה כעת להיות הבעלים של השכבה שבה מתקבלות בחירות מובנות, מכיוון שהשכבה הזו עומדת לפני הכל: טריאז' תמיכה, עיבוד מסמכים, קריאת כלים, ניהול, בדיקות תאימות.

הכלכלה היא הנקודה. מודל הנמקה יכול לתת מענה למודל החלטה לגבי דיוק, אבל בנפח גבוה זמן ההשהיה והעלות שלו הופכים אותו לכלי השגוי עבור מיליוני סיווגים יומיומיים. מודלים של החלטות מחליפים אינטליגנציה כללית עבור תשובות מכוילות, בלתי משתנות, של שיחה בודדת, וכפי שמראה הדיון ב-Hacker News, קונים מדרגים כעת את הסוחרים לפי מדדים אמיתיים ועומסי עבודה אמיתיים.

Decider v1.3 יחיה או ימות על כרטיסי הניקוד האלה. אבל ברור שהקטגוריה עצמה הגיעה.

---

הישאר לפני AI

קבל את החדשות, הניתוחים ופריצות הדרך האחרונות של AI - הכל במקום אחד.

קרא עוד חדשות AI →