Кожен, хто працював із агентом штучного інтелекту над проектом, який тривав кілька днів, знає стіну: кожна нова сесія починається з нуля. У новій дослідницькій публікації Anthropic описує, як Claude розроблено для збереження знань під час сеансів, в той час як базова модель залишається незмінною — шляхом запису приміток до папки, яку можна прочитати пізніше. Дивовижний висновок полягає в тому, що найважча частина пам’яті агента – це не зберігання. Це відбір.

Основна проблема, згідно з Anthropic, полягає в тому, що агент повинен миттєво вирішити, що може мати значення пізніше, перш ніж він дізнається, що буде далі. Кожна нота - це ставка на майбутнє. Зберігайте занадто мало, і агент повторює свої помилки; зберігати занадто багато, і архів стає старим, з’їдає контекст і нескінченно переносить помилки вперед.

Тест Pokémon: 413 файлів, один значок

Щоб проілюструвати режим невдачі, Anthropic вказав на тести, запущені в Pokémon Red. Claude Sonnet 3.7, старіша модель, розглядала все як потенційно важливе. Протягом приблизно 10 000 ігрових кроків він створив 413 файлів, розподілених у 225 папках — часто окремий файл для кожної битви та предмета, з яким він зіткнувся. Оскільки стан гри постійно змінювався, архів старів майже так само швидко, як і був написаний. Часом модель не робила нічого, крім того, щоб реорганізовувати свої нотатки замість того, щоб грати, і вона завершувала серію з одним значком.

Новіший Claude Fable 5 застосував протилежний підхід: він обмежив свою пам’ять кількома файлами та отримав чотири значки. Fable 5 не записувала інформацію, яка вже була видима на екрані, а замість цього записувала плани, стратегії та правила, які вона перевірила. Anthropic попереджає, що порівняння охоплює лише одне проходження на модель, тому результат є орієнтовним, а не остаточним, але напрямок узгоджується з ширшими порадами компанії.

Ця порада полягає в тому, щоб пояснити призначення пам’яті Клоду і дозволити моделі вирішити, як її використовувати. В одному тесті жорсткі інструкції, такі як «записувати лише помилки», знищили більшість переваг сильніших моделей. Старіші моделі, навпаки, отримували переваги від чітких інструкцій, наприклад, перед кожною відповіддю читали свої нотатки.

Сновидіння: перевірка пам'яті після факту

Більший ризик у довготривалих агентів полягає в тому, щоб не забувати — це довіряти помилковим нотаткам. Відповіддю Anthropic є процес, який він називає Dreaming, ідея, яка базується на дослідженнях Letta та UC Berkeley. Подібно до того, як людський мозок консолідує досвід під час сну, Клод переглядає стенограми попередніх сеансів під час перерви та звіряє свої записи з тим, що насправді сталося.

У тесті з покемонами Клод неправильно вказав, на якому боці гори знаходиться орієнтир. Покладаючись на цю помилкову записку, агент тричі потрапляв у ту саму пастку, зрештою хотів здатися та не досягнув мети. Після пропуску Dreaming Клод упіймав помилку, перевіривши записку зі стенограмою, і знайшов правильний шлях.

Dreaming також може організувати набагато більші бази знань. Клод створив пов’язану вікі з приблизно 350 000 внутрішніх документів Stainless, компанії-виробника програмного забезпечення, яку придбала Anthropic, а Dreaming генерувала нові сторінки, одночасно виправляючи прогалини, дублікати та пошкоджені посилання. Вигода була найбільшою, коли Клод зміг поєднати wiki з пошуком, тож керована пам’ять працювала як доповнення до пошуку, а не як заміна.

Коли Wiki перемагає пошук

В окремому юридичному тесті, проведеному Anthropic, підібрана вікі-сторінка найбільше допомогла у питаннях, відповіді на які були розподілені в кількох документах. Клод набрав 87 відсотків за допомогою wiki, у порівнянні з 73 відсотками за допомогою лише пошуку. Для простих завдань пошуку вікі виконувала приблизно такі ж результати, як і пошук — і в одному випадку вона навіть стала більшою, ніж вихідні документи, які вона узагальнила.

Антропік відвертий щодо відкритих проблем. Конспектування посеред завдання відволікає агента від роботи. Сновидіння вимагає додаткового обчислення, а його результати надходять лише із затримкою. Вікі та нотатки також потребують регулярного обслуговування, інакше накопичуються помилки та галюцинації. І компанія застерігає від автоматичного завантаження занадто великої кількості спогадів у кожну сесію, оскільки вони з’їдають контекст і передають будь-яку погану нотатку до кожної наступної сесії.

Від попереднього дослідження до продукту

Сама по собі Dreaming не нова: Anthropic представила її в травні як попередній перегляд Claude Managed Agents, хмарної платформи компанії для агентів ШІ. Служба зчитує наявне сховище пам’яті та до 100 минулих сеансів, видаляє повторювані та застарілі записи та створює реорганізоване сховище, залишаючи оригінал недоторканим. Під час запуску він підтримував Claude Opus 4.7 і Sonnet 4.6. Відтоді OpenAI запозичив бренд для власної реконструкції пам’яті ChatGPT у червні, яку він також називає «Dreaming» — фоновою системою, яка підтримує профіль користувача та автоматично виправляє застарілу інформацію.

Загальний висновок досліджень Anthropic полягає в тому, що корисна пам’ять агента залежить не стільки від збереження якомога більшого обсягу, скільки від збереження правильної інформації та виправлення помилок пізніше. Оскільки лабораторії змагаються за створення агентів, які можуть надійно працювати протягом днів і тижнів, а не хвилин, контроль пам’яті тихо стає власним конкурентним кордоном. Ви можете стежити за останніми розробками ШІ в дослідженні агентів на AI Buzz Wire.

Будьте попереду ШІ

Дослідження агентів швидко просуваються, і пам’ять стає наступним полем битви. Отримуйте кожне оновлення, а також найновіші розробки ШІ від усіх великих лабораторій на AI Buzz Wire.

Читати більше новин AI →