Każdy, kto pracował z agentem AI nad projektem trwającym kilka dni, zna tę ścianę: każda nowa sesja zaczyna się od zera. W nowym poście badawczym Anthropic opisuje, w jaki sposób Claude został zaprojektowany tak, aby zachować wiedzę podczas sesji, podczas gdy podstawowy model pozostaje niezmieniony – poprzez zapisywanie notatek w folderze, który można później przeczytać. Zaskakującym odkryciem jest to, że najtrudniejszą częścią pamięci agenta nie jest pamięć. To jest selekcja.
Według Anthropic główny problem polega na tym, że agent musi natychmiast zdecydować, co może mieć znaczenie później, zanim będzie wiedział, co będzie dalej. Każda nuta to zakład na przyszłość. Przechowuj za mało, a agent powtarza swoje błędy; przechowuj za dużo, a archiwum staje się nieaktualne, zjada kontekst i przenosi błędy w nieskończoność.
Test Pokémonów: 413 plików, jedna odznaka
Aby zilustrować tryb awarii, Anthropic wskazał na testy przeprowadzone wewnątrz Pokémon Red. Claude Sonnet 3.7, starszy model, traktował wszystko jako potencjalnie ważne. Na około 10 000 etapów gry utworzył 413 plików rozmieszczonych w 225 folderach — często osobny plik dla każdej bitwy i napotkanego przedmiotu. Ponieważ stan gry ciągle się zmieniał, archiwum dezaktualizowało się niemal tak szybko, jak zostało napisane. Czasami model nie robił nic innego, jak tylko reorganizował swoje notatki, zamiast grać, i kończył bieg z jedną odznaką.
Nowszy Claude Fable 5 przyjął odwrotne podejście: ograniczył swoją pamięć do kilku plików i zdobył cztery odznaki. Fable 5 nie zapisywało informacji, które były już widoczne na ekranie, a zamiast tego spisywało przetestowane plany, strategie i zasady. Anthropic ostrzega, że porównanie obejmuje tylko jedno przejście danego modelu, zatem wynik ma charakter orientacyjny, a nie ostateczny – ale kierunek jest zgodny z szerszymi zaleceniami firmy.
Radzimy, aby wyjaśnić Claude'owi cel pamięci i pozwolić modelowi zdecydować, jak z niej korzystać. W jednym benchmarku sztywne instrukcje, takie jak „rejestruj tylko błędy”, zniweczyły większość zalet silniejszych modeli. Z kolei starsze modele skorzystały na jasnych instrukcjach, takich jak prośba o przeczytanie notatek przed każdą odpowiedzią.
Śnienie: sprawdzanie pamięci po fakcie
W przypadku długoterminowych agentów większym ryzykiem nie jest zapominanie — to zaufanie błędnym notatkom. Odpowiedzią firmy Anthropic jest proces, który nazywa Dreaming i który opiera się na badaniach przeprowadzonych przez Lettę i Uniwersytet Kalifornijski w Berkeley. Tak jak ludzki mózg konsoliduje doświadczenia podczas snu, Claude podczas przerwy przegląda transkrypcje wcześniejszych sesji i porównuje swoje notatki z tym, co faktycznie się wydarzyło.
W teście Pokémonów Claude błędnie zauważył, po której stronie góry znajduje się punkt orientacyjny. Opierając się na tej błędnej notatce, agent trzykrotnie wpadł w tę samą pułapkę, w końcu chciał się poddać i nie osiągnął celu. Po przejściu przez Śnienie Claude wykrył błąd, sprawdzając notatkę z transkrypcją i znalazł właściwą ścieżkę.
Dreaming może także organizować znacznie większe bazy wiedzy. Claude stworzył linkowaną wiki na podstawie około 350 000 dokumentów wewnętrznych firmy Steel, firmy przejętej przez Anthropic, przy czym Dreaming generował nowe strony, naprawiając luki, duplikaty i uszkodzone linki. Korzyści były największe, gdy Claude mógł połączyć wiki z wyszukiwaniem, więc wyselekcjonowana pamięć działała jako uzupełnienie wyszukiwania, a nie jego zamiennik.
Kiedy Wiki przewyższa wyszukiwanie
W oddzielnym teście prawnym przeprowadzonym przez Anthropic, wybrana przez nas wiki okazała się najbardziej pomocna w przypadku pytań, na które odpowiedzi były rozproszone w wielu dokumentach. Claude uzyskał 87% punktów za korzystanie z wiki w porównaniu z 73% korzystającymi wyłącznie z wyszukiwania. W przypadku prostych zadań wyszukiwania wiki radziła sobie mniej więcej na równi z wyszukiwaniem — a w jednym przypadku nawet rozrosła się w stosunku do podsumowanych w niej dokumentów źródłowych.
Anthropic szczerze mówi o otwartych problemach. Robienie notatek w trakcie zadania odwraca uwagę agenta od jego pracy. Sen wymaga dodatkowych obliczeń, a jego wyniki pojawiają się dopiero z opóźnieniem. Wiki i notatki również wymagają regularnej konserwacji, w przeciwnym razie gromadzą się błędy i halucynacje. Firma ostrzega także przed automatycznym ładowaniem zbyt wielu wspomnień do każdej sesji, ponieważ pochłaniają one kontekst i przekazują wszelkie złe uwagi do każdej przyszłej sesji.
Od podglądu badań do produktu
Dreaming samo w sobie nie jest niczym nowym: Anthropic wprowadziło je w maju jako zapowiedź badań dla Claude Managed Agents, firmowej platformy chmurowej dla agentów AI. Usługa odczytuje istniejącą pamięć i do 100 poprzednich sesji, usuwa zduplikowane i nieaktualne wpisy oraz tworzy reorganizację pamięci, pozostawiając oryginał nietknięty. W momencie uruchomienia obsługiwał Claude Opus 4.7 i Sonnet 4.6. Od tego czasu OpenAI zapożyczyło tę markę na potrzeby własnej modernizacji pamięci ChatGPT w czerwcu, którą nazywa również „Dreaming” – systemem działającym w tle, który utrzymuje profil użytkownika i automatycznie koryguje nieaktualne informacje.
Ogólny wniosek z badań Anthropic jest taki, że użyteczna pamięć agenta w mniejszym stopniu zależy od przechowywania jak największej ilości informacji, a bardziej od przechowywania właściwych informacji i późniejszego poprawiania błędów. W miarę jak laboratoria starają się tworzyć agenty, które będą działać niezawodnie przez kilka dni i tygodni, a nie minut, leczenie pamięci po cichu staje się samo w sobie przeszkodą konkurencyjną. Najnowsze osiągnięcia AI w badaniach agentów możesz śledzić na stronie AI Buzz Wire.
Wyprzedź sztuczną inteligencję
Badania nad agentami szybko postępują, a kolejnym polem bitwy jest pamięć. Uzyskaj wszystkie aktualizacje oraz najnowsze osiągnięcia AI z każdego większego laboratorium w AI Buzz Wire.
Przeczytaj więcej aktualności o sztucznej inteligencji →