Wer schon einmal mit einem KI-Agenten an einem mehrtägigen Projekt gearbeitet hat, kennt die Mauer: Jede neue Sitzung beginnt bei Null. In einem neuen Forschungsbeitrag beschreibt Anthropic, wie Claude darauf ausgelegt ist, Wissen über Sitzungen hinweg zu behalten, während das zugrunde liegende Modell unverändert bleibt – indem es Notizen in einen Ordner schreibt, den es später wieder lesen kann. Das überraschende Ergebnis ist, dass der schwierigste Teil des Agentengedächtnisses nicht die Speicherung ist. Es ist Auswahl.
Das Kernproblem besteht laut Anthropic darin, dass ein Agent im Moment entscheiden muss, was später wichtig sein könnte, bevor er weiß, was als nächstes kommt. Jede Note ist eine Wette auf die Zukunft. Lagern Sie zu wenig und der Agent wiederholt seine Fehler; Wenn Sie zu viel speichern, wird das Archiv veraltet, frisst Kontext und überträgt Fehler auf unbestimmte Zeit.
Der Pokémon-Test: 413 Dateien, ein Abzeichen
Um den Fehlermodus zu veranschaulichen, verwies Anthropic auf Tests, die in Pokémon Red durchgeführt wurden. Claude Sonnet 3.7, ein älteres Modell, behandelte alles als potenziell wichtig. In rund 10.000 Spielschritten wurden 413 Dateien erstellt, die auf 225 Ordner verteilt waren – oft eine separate Datei für jeden Kampf und Gegenstand, auf den es traf. Da sich der Spielstand ständig änderte, veralte das Archiv fast genauso schnell, wie es geschrieben wurde. Zeitweise tat das Modell nichts anderes, als seine Noten neu zu ordnen, anstatt zu spielen, und beendete den Lauf mit einem einzigen Abzeichen.
Das neuere Claude Fable 5 verfolgte den umgekehrten Ansatz: Es beschränkte seinen Speicher auf eine Handvoll Dateien und erhielt vier Abzeichen. Fable 5 zeichnete keine Informationen auf, die bereits auf dem Bildschirm sichtbar waren, sondern schrieb stattdessen Pläne, Strategien und Regeln auf, die es getestet hatte. Anthropic weist darauf hin, dass der Vergleich nur einen einzigen Durchlauf pro Modell abdeckt, sodass das Ergebnis eher indikativ als endgültig ist – die Richtung stimmt jedoch mit der umfassenderen Empfehlung des Unternehmens überein.
Dieser Rat besteht darin, Claude den Zweck des Gedächtnisses zu erklären und das Modell entscheiden zu lassen, wie es verwendet wird. In einem Benchmark machten starre Anweisungen wie „Nur Fehler aufzeichnen“ den Vorteil stärkerer Modelle größtenteils zunichte. Ältere Modelle hingegen profitierten von klaren Anweisungen, wie zum Beispiel der Aufforderung, vor jeder Antwort tatsächlich ihre Notizen zu lesen.
Träumen: Das Gedächtnis im Nachhinein überprüfen
Das größere Risiko bei Agenten mit langer Laufzeit besteht darin, nicht zu vergessen, sondern fehlerhaften Notizen zu vertrauen. Die Antwort von Anthropic ist ein Prozess, den es Dreaming nennt, eine Idee, die auf Forschungen von Letta und der UC Berkeley aufbaut. So wie das menschliche Gehirn im Schlaf Erfahrungen festigt, geht Claude in einer Pause die Transkripte früherer Sitzungen durch und vergleicht die Notizen mit dem, was tatsächlich passiert ist.
Im Pokémon-Test hatte Claude fälschlicherweise notiert, auf welcher Seite eines Berges sich ein Wahrzeichen befand. Unter Berufung auf diesen fehlerhaften Zettel tappte der Agent dreimal in die gleiche Falle, wollte schließlich aufgeben und verfehlte sein Ziel. Nach einem Dreaming-Durchgang entdeckte Claude den Fehler, indem er die Notiz mit dem Transkript verglich, und fand den richtigen Weg.
Der Träumende kann auch viel größere Wissensbestände organisieren. Claude baute ein verlinktes Wiki aus rund 350.000 internen Dokumenten von Stainless, einem von Anthropic übernommenen Softwareunternehmen, auf, wobei Dreaming neue Seiten generierte und gleichzeitig Lücken, Duplikate und defekte Links reparierte. Der Gewinn war am größten, als Claude das Wiki mit der Suche kombinieren konnte, sodass der kuratierte Speicher als Ergänzung zum Abruf fungierte und nicht als Ersatz dafür.
Wenn ein Wiki die Suche übertrifft
In einem separaten Rechtstest von Anthropic half ein kuratiertes Wiki am meisten bei Fragen, deren Antworten auf mehrere Dokumente verteilt waren. Claude erreichte 87 Prozent mit dem Wiki, verglichen mit 73 Prozent allein mit der Suche. Bei einfachen Nachschlageaufgaben leistete das Wiki in etwa die gleiche Leistung wie die Suche – und in einem Fall wurde es sogar größer als die darin zusammengefassten Quelldokumente.
Anthropic äußert sich offen zu den offenen Problemen. Das Machen von Notizen während der Aufgabe lenkt den Agenten von seiner Arbeit ab. Das Träumen kostet zusätzliche Rechenleistung und die Ergebnisse kommen erst mit Verzögerung an. Auch Wikis und Notizen müssen regelmäßig gepflegt werden, sonst häufen sich Fehler und Halluzinationen. Und das Unternehmen warnt davor, automatisch zu viele Erinnerungen in jede Sitzung zu laden, da diese den Kontext verschlingen und schlechte Notizen an jede zukünftige Sitzung weitergeben.
Von der Forschungsvorschau zum Produkt
Träumen an sich ist nichts Neues: Anthropic stellte es im Mai als Forschungsvorschau für Claude Managed Agents vor, die Cloud-Plattform des Unternehmens für KI-Agenten. Der Dienst liest einen vorhandenen Speicher und bis zu 100 vergangene Sitzungen, entfernt doppelte und veraltete Einträge und erstellt einen neu organisierten Speicher, während der ursprüngliche Speicher unberührt bleibt. Beim Start wurden Claude Opus 4.7 und Sonnet 4.6 unterstützt. OpenAI hat sich seitdem das Branding für seine eigene Speicherüberarbeitung von ChatGPT im Juni ausgeliehen, die es auch „Dreaming“ nennt – ein Hintergrundsystem, das ein Benutzerprofil pflegt und veraltete Informationen automatisch korrigiert.
Die allgemeine Erkenntnis aus der Forschung von Anthropic ist, dass ein nützliches Agentengedächtnis weniger davon abhängt, so viel wie möglich zu speichern, als vielmehr davon, die richtigen Informationen zu behalten und Fehler später zu korrigieren. Während Labore darum kämpfen, Wirkstoffe zu entwickeln, die zuverlässig über Tage und Wochen statt nur über Minuten funktionieren, entwickelt sich die Speicherkuration still und leise zu einem eigenen Wettbewerbsvorteil. Sie können die neuesten KI-Entwicklungen in der Agentenforschung bei AI Buzz Wire verfolgen.
Bleiben Sie der KI immer einen Schritt voraus
Die Agentenforschung schreitet schnell voran und das Gedächtnis ist das nächste Schlachtfeld. Erhalten Sie jedes Update sowie die neuesten KI-Entwicklungen aus allen großen Laboren bei AI Buzz Wire.
Weitere KI-Neuigkeiten lesen →