Amazon Web Services hat Amazon Bedrock AgentCore Evaluations auf den Markt gebracht, eine neue Funktion, die KI-Agenten bewertet, die mit jedem wichtigen Framework erstellt wurden – nicht nur mit den AWS-eigenen Tools –, indem OpenTelemetry-Traces als universelle Schnittstelle für die Bewertung behandelt werden. Die Ankündigung erfolgte in einem AWS-Blogbeitrag zum maschinellen Lernen, der am 26. August von Swarnim Singhal, Bharathi Srinivasan und Renya Kujirada veröffentlicht wurde.
Der Pitch thematisiert, was AWS als frustrierende Asymmetrie in der Produktions-KI-Arbeit bezeichnet: Die Vielfalt der Agenten-Frameworks wächst weiter, während die Bewertungstools nicht mithalten können. Um mit dem breiteren KI-Branchen-Nachrichtenzyklus Schritt zu halten, kombinieren Teams jetzt routinemäßig Tools – und genau hier scheitern traditionelle Evaluierungspipelines.
Das Fragmentierungsproblem
Wie das AWS-Team es formuliert, gehen die meisten Bewertungssysteme davon aus, dass Sie Ihren Agenten auf eine bestimmte Weise erstellt haben: ein bestimmtes SDK, einen bestimmten großen Sprachmodell-Client, ein bestimmtes Ablaufverfolgungsmuster. Wenn Sie diese enge Kompatibilitätszone verlassen, wird die Evaluierungspipeline unterbrochen.
Echte Stapel bleiben selten innerhalb der Spur eines Anbieters. Im Bericht des Blogbeitrags bauen Teams auf LangGraph für die Workflow-Orchestrierung, auf LlamaIndex für eine enge Integration der Abrufpipeline und auf dem OpenAI Agents SDK, wenn eine Organisation GPT-Modelle standardisiert. Sie verwenden Google ADK für die Koordination mehrerer Agenten oder das Claude Agent SDK für native Anthropic-Funktionen und greifen auf Strands Agents zurück, wenn die modellgesteuerte Schleife einen funktionsfähigen Agenten auf Amazon Bedrock AgentCore in Minuten statt in Tagen zum Laufen bringen kann.
Jedes dieser Frameworks generiert seine eigene interne Darstellung dessen, was ein Agent getan hat – Toolaufrufe, Abrufe, Übergaben zwischen Subagenten. Historisch gesehen bedeutete ihre Bewertung, die Instrumentierung für jedes einzelne Framework neu zu erstellen oder zu akzeptieren, dass einige Frameworks einfach überhaupt nicht bewertet werden konnten.
Wie es funktioniert: Telemetrie statt enger Kopplung
AgentCore Evaluations versucht, diese Kopplung aufzulösen, indem es eine Schnittstelle wählt, die jedes wichtige Framework bereits unterstützt. Fast alle von ihnen unterstützen OpenTelemetry, entweder nativ oder über Community-Instrumentierungsbibliotheken – den De-facto-Standard, auf dem Cloud- und Anwendungsobservability-Tools vor Jahren konvergierten.
Die Logik ist einfach: Solange die Telemetrie eines Agenten über OpenTelemetry fließt, kann der Bewertungsdienst sie bewerten, unabhängig davon, welches SDK darunter liegt. Der Blog-Beitrag erläutert, welche Telemetriedaten der Dienst liest, wie er entscheidet, wie Spans interpretiert werden, welche Attribute die Bewertungsdaten enthalten und wie sich die Abdeckung auf Frameworks erstreckt, die über die benannte Liste von AWS hinausgehen – wodurch das Format und nicht das Framework zum Vertrag wird.
Für Ingenieursorganisationen wird die Bewertung dadurch zu einer Infrastrukturentscheidung und nicht zu einer projektbezogenen Erstellung. Ein Agent, der am Tag seiner Auslieferung bewertet wurde, kann mit denselben Metriken verglichen werden, unabhängig davon, ob seine Autoren ihn in LangGraph oder im Claude Agent SDK geschrieben haben.
Wo es in AgentCore passt
Evaluierungen fügen sich in die breitere Amazon Bedrock AgentCore-Plattform ein, deren Laufzeit bereits die Hosting-, Skalierungs-, Speicher- und Observability-Infrastruktur übernimmt, die Entwickler andernfalls für jedes Projekt neu erstellen würden. Mit der auf derselben Oberfläche hinzugefügten Evaluierung stellt AWS einen vollständigen Lebenszyklus für Agenten zusammen: Stellen Sie sie zur Laufzeit bereit, überwachen Sie sie durch integrierte Observability und messen Sie sie nun anhand konsistenter Kriterien, ohne die Plattform zu verlassen.
Der Zeitpunkt ist kein Zufall. In der gesamten Branche haben sich Fragen darüber, ob sich Agenten tatsächlich wie beabsichtigt verhalten, von akademischen Bedenken zu Risiken auf Vorstandsebene verlagert, nachdem aufsehenerregende Vorkommnisse wie das koordinierte Fehlverhalten, das in der Hugging-Face-Verletzungsuntersuchung dokumentiert wurde, und immer mehr Beweise dafür vorliegen, dass Benchmarks allein ein unvollständiges Bild der Agentenzuverlässigkeit zeichnen. Tools, die eine kontinuierliche, kostengünstige und rahmenunabhängige Bewertung ermöglichen, sprechen direkt gegen diese Befürchtungen.
Warum es wichtig ist
Die Evaluierung ist in aller Stille zum Flaschenhals bei der Einführung von Unternehmensagenten geworden. Die Entwicklungsgeschwindigkeit ist nicht länger die Einschränkung – die Einschränkung ist das Vertrauen: das Wissen, dass der Agent, der Kunden antwortet, Daten verschiebt oder Arbeitsabläufe ausführt, dies auch unter Bedingungen korrekt tun wird, die niemand einzeln getestet hat.
Durch die Verankerung der Evaluierung in OpenTelemetry statt in einem einzelnen SDK geht AWS davon aus, dass der Observability-Konsens der Branche als Qualitätssicherungsebene fungieren kann. Ob Mitbewerber mit einer gleichwertigen Framework-unabhängigen Bewertung nachziehen, wird viel darüber aussagen, wie schnell sich die Agenten-KI von Demoversionen zu einer zuverlässigen Infrastruktur entwickelt.
Für Teams, die heterogene Flotten betreiben, ist die Vergleichbarkeit die praktische Auswirkung. Wenn jeder Agent im gleichen Telemetrieformat berichtet, kann ein Unternehmen die Qualität im Laufe der Zeit und teamübergreifend verfolgen, anstatt sie pro Projekt neu abzuleiten – eine Voraussetzung dafür, dass in Agentensystemen auch nur annähernd die Betriebsreife erreicht wird. Für Unternehmen, die tief in LangGraph-LlamaIndex-Hybrid-Stacks vertieft sind oder einfach davor zurückschrecken, die Instrumentierung neu zu schreiben, wenn ein besseres Framework erscheint, gibt es jetzt eine First-Party-Option von ihrem Cloud-Anbieter, die sie nicht auffordert, sich für eine Seite zu entscheiden.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
