כל מי שעבד עם סוכן AI על פרויקט שנמשך מספר ימים מכיר את החומה: כל סשן חדש מתחיל מאפס. בפוסט מחקר חדש, אנתרופיק מתאר כיצד קלוד מתוכנן לשמור על ידע במפגשים בזמן שהמודל הבסיסי נשאר ללא שינוי - על ידי כתיבת הערות לתיקיה שתוכל לקרוא אותה מאוחר יותר. הממצא המפתיע הוא שהחלק הקשה ביותר בזיכרון הסוכן אינו אחסון. זה מבחר.

בעיית הליבה, לפי אנתרופיק, היא שסוכן צריך להחליט ברגע מה עשוי להיות חשוב אחר כך, לפני שהוא יודע מה יקרה אחר כך. כל פתק הוא הימור על העתיד. אחסן מעט מדי והסוכן חוזר על טעויותיו; לאחסן יותר מדי והארכיון מיושן, אוכל את ההקשר ומעביר שגיאות קדימה ללא הגבלת זמן.

מבחן הפוקימון: 413 קבצים, תג אחד

כדי להמחיש את מצב הכישלון, Anthropic הצביע על בדיקות שפועלות בתוך Pokémon Red. קלוד סונט 3.7, דגם מבוגר יותר, התייחס לכל דבר כעל פוטנציאל חשוב. על פני כ-10,000 שלבי משחק היא יצרה 413 קבצים הפרוסים על פני 225 תיקיות - לעתים קרובות קובץ נפרד לכל קרב וכל פריט שהוא נתקל בו. מכיוון שמצב המשחק כל הזמן השתנה, הארכיון התעשן כמעט באותה מהירות כמו שנכתב. לפעמים, הדוגמנית לא עשתה דבר מלבד לארגן מחדש את התווים שלו במקום לנגן, והיא סיימה את הריצה עם תג בודד.

קלוד פייבל 5 החדש יותר נקט בגישה ההפוכה: הוא הגביל את הזיכרון שלו לקומץ קבצים וקיבל ארבעה תגים. משל 5 לא תיעד מידע שכבר נראה על המסך, ובמקום זאת רשם תוכניות, אסטרטגיות וכללים שהוא בדק. אנתרופי מזהיר שההשוואה מכסה רק משחק אחד לכל דגם, כך שהתוצאה מעידה ולא נחרצת - אבל הכיוון תואם את העצה הרחבה יותר של החברה.

העצה הזו היא להסביר לקלוד את מטרת הזיכרון ולתת לדגם להחליט כיצד להשתמש בו. בנקודת אמת אחת, הוראות נוקשות כמו "רק שגיאות רשום" מחקו את רוב היתרון לדגמים חזקים יותר. לעומת זאת, דגמים ישנים יותר נהנו מהנחיות ברורות, כמו שאמרו להם לקרוא בפועל את ההערות שלהם לפני כל תגובה.

לחלום: ביקורת זיכרון לאחר מעשה

הסיכון הגדול יותר בסוכנים ארוכי טווח הוא לא לשכוח - הוא לסמוך על פתקים פגומים. התשובה של אנתרופיק היא תהליך שהוא קורא לו Dreaming, רעיון שמתבסס על מחקר של Letta ו-UC Berkeley. ככל שהמוח האנושי מגבש חוויות במהלך השינה, קלוד עובר על תמלילים של מפגשים קודמים בהפסקה ובודק את ההערות שלו מול מה שקרה בפועל.

במבחן הפוקימון, קלוד ציין בטעות באיזה צד של ההר נמצא נקודת ציון. בהסתמך על הפתק השגוי הזה, הסוכן נפל לאותה מלכודת שלוש פעמים, בסופו של דבר רצה לוותר, והחטיא את המטרה. לאחר מעבר חלומות, קלוד תפס את השגיאה על ידי בדיקת הפתק מול התמליל ומצא את הדרך הנכונה.

חלימה יכולה גם לארגן מאגרי ידע גדולים בהרבה. קלוד בנה ויקי מקושר מכ-350,000 מסמכים פנימיים של Stainless, חברת תוכנה שאנתרופיק רכשה, כאשר Dreaming מייצרת דפים חדשים תוך תיקון פערים, כפילויות וקישורים שבורים. התמורה הייתה הגדולה ביותר כאשר קלוד יכול היה לשלב את הוויקי עם חיפוש, כך שהזיכרון האצור עבד כהשלמה לאחזור ולא תחליף לו.

כאשר ויקי מכות חיפוש

במבחן משפטי נפרד שנערך על ידי Anthropic, ויקי שנאסף עזר ביותר בשאלות שתשובותיהן היו מפוזרות על פני מספר מסמכים. קלוד השיג 87 אחוזים ב-Wiki, לעומת 73 אחוזים בחיפוש בלבד. עבור משימות חיפוש פשוטות, הוויקי ביצעה בערך בדומה לחיפוש - ובמקרה אחד היא אפילו גדלה ממסמכי המקור שהיא סיכמה.

אנתרופי גלוי לב לגבי הבעיות הפתוחות. רישום הערות באמצע המשימה מסיח את דעתו של הסוכן מעבודתו. חלימה עולה חישוב נוסף, ותוצאותיו מגיעות רק לאחר עיכוב. גם ויקים והערות זקוקים לתחזוקה שוטפת, או שגיאות והזיות מצטברות. והחברה מזהירה מפני טעינה אוטומטית של יותר מדי זיכרונות לכל סשן, מכיוון שהם אוכלים את ההקשר ומעבירים כל פתק רע לכל סשן עתידי.

מתצוגה מקדימה של מחקר למוצר

החלום עצמו אינו חדש: אנתרופיק הציגה אותו במאי כתצוגה מקדימה של מחקר עבור Claude Managed Agents, פלטפורמת הענן של החברה לסוכני AI. השירות קורא מאגר זיכרון קיים ועד 100 הפעלות קודמות, מסיר ערכים כפולים ומיושנים ויוצר חנות מאורגנת מחדש תוך השארת המקור ללא נגיעה. בהשקה הוא תמך בקלוד אופוס 4.7 ובסונט 4.6. מאז לווה OpenAI את המיתוג לצורך שיפוץ זיכרון משלה של ChatGPT ביוני, אותו היא מכנה גם "Dreaming" - מערכת רקע ששומרת על פרופיל משתמש ומתקנת מידע מיושן באופן אוטומטי.

ההשלכה הכוללת מהמחקר של אנתרופיק היא שזיכרון סוכן שימושי תלוי פחות באחסון כמה שיותר מאשר בשמירה על המידע הנכון ותיקון טעויות מאוחר יותר. בעוד מעבדות דוהרות לבנות סוכנים שיכולים לעבוד בצורה מהימנה במשך ימים ושבועות ולא דקות, איסוף זיכרון הופך בשקט לגבול תחרותי משלו. אתה יכול לעקוב אחר ההתפתחויות האחרונות של AI במחקר סוכנים ב-AI Buzz Wire.

הישאר לפני AI

מחקר הסוכנים מתקדם במהירות, והזיכרון הוא שדה הקרב הבא. קבל כל עדכון, בתוספת הפיתוחים האחרונים של AI מכל מעבדה גדולה, ב-AI Buzz Wire.

קרא עוד חדשות AI →