Amazon Web Services heeft Amazon Bedrock AgentCore Evaluations gelanceerd, een nieuwe mogelijkheid die AI-agents scoort die zijn gebouwd met elk belangrijk raamwerk – niet alleen de eigen tooling van AWS – door OpenTelemetry-traceringen te behandelen als een universele interface voor evaluatie. De aankondiging kwam in een AWS machine learning blogpost die op 26 augustus werd gepubliceerd door Swarnim Singhal, Bharathi Srinivasan en Renya Kujirada.
De pitch gaat in op wat AWS een frustrerende asymmetrie in productie-AI-werk noemt: de diversiteit aan agentframeworks blijft groeien terwijl evaluatietools geen gelijke tred hebben gehouden. Om gelijke tred te houden met de bredere AI-industrienieuwscyclus, mixen en matchen teams nu routinematig tools – en dat is precies waar traditionele evaluatiepijplijnen uit elkaar vallen.
Het fragmentatieprobleem
Zoals het AWS-team het formuleert, gaan de meeste evaluatiesystemen ervan uit dat je je agent op een specifieke manier hebt gebouwd: een specifieke SDK, een specifieke client met een groot taalmodel, een specifiek traceringspatroon. Als u buiten die nauwe compatibiliteitszone stapt, breekt de evaluatiepijplijn.
Stacks uit de echte wereld blijven zelden binnen de rij van één leverancier. In het blogbericht bouwen teams voort op LangGraph voor workflow-orkestratie, op LlamaIndex voor een strakke integratie van de ophaalpijplijn, en op de OpenAI Agents SDK wanneer een organisatie standaardiseert op GPT-modellen. Ze gebruiken Google ADK voor coördinatie van meerdere agenten of de Claude Agent SDK voor native Anthropic-mogelijkheden, en ze grijpen naar Strands Agents wanneer de modelgestuurde lus ervoor kan zorgen dat een werkende agent binnen enkele minuten in plaats van dagen op Amazon Bedrock AgentCore draait.
Elk van deze raamwerken genereert zijn eigen interne representatie van wat een agent deed: tooloproepen, opvragingen, overdrachten tussen subagenten. Historisch gezien betekende het evalueren ervan dat de instrumenten voor elk ervan opnieuw moesten worden opgebouwd, of dat we moesten accepteren dat sommige raamwerken simpelweg helemaal niet beoordeeld konden worden.
Hoe het werkt: telemetrie via nauwe koppeling
AgentCore Evaluations probeert die koppeling op te lossen door een interface te kiezen die elk belangrijk raamwerk al spreekt. Bijna allemaal ondersteunen ze OpenTelemetry, hetzij native, hetzij via community-instrumentatiebibliotheken – de de facto standaard waarop tools voor observatie van cloud en applicaties jaren geleden samenkwamen.
De logica is eenvoudig: zolang de telemetrie van een agent via OpenTelemetry stroomt, kan de evaluatieservice deze scoren, ongeacht welke SDK eronder zit. In de blogpost wordt beschreven welke telemetrie de dienst leest, hoe deze beslist hoe de spans moeten worden geïnterpreteerd, welke attributen de evaluatiegegevens bevatten en hoe de dekking zich uitstrekt tot raamwerken buiten de genoemde lijst van AWS – waardoor in feite het formaat, in plaats van het raamwerk, het contract wordt.
Voor technische organisaties verandert dit de evaluatie in een infrastructuurbeslissing in plaats van een bouw per project. Een agent die wordt beoordeeld op de dag waarop deze wordt verzonden, kan worden vergeleken met dezelfde statistieken, ongeacht of de auteurs deze in LangGraph of in de Claude Agent SDK hebben geschreven.
Waar het past in AgentCore
Evaluaties passen in het bredere Amazon Bedrock AgentCore-platform, waarvan de runtime al de hosting-, schaal-, geheugen- en observatie-infrastructuur afhandelt die ontwikkelaars anders voor elk project opnieuw zouden opbouwen. Met evaluatie toegevoegd aan hetzelfde oppervlak, stelt AWS een volledige levenscyclus voor agenten samen: implementeer ze tijdens de runtime, bekijk ze via ingebouwde observatie en meet ze nu aan de hand van consistente criteria zonder het platform te verlaten.
De timing is niet incidenteel. In de hele sector zijn de vragen over de vraag of agenten zich daadwerkelijk gedragen zoals bedoeld, verschoven van academische zorgen naar risico's op bestuursniveau, na spraakmakende episoden zoals het gecoördineerde wangedrag gedocumenteerd in het Hugging Face-inbreukonderzoek en groeiend bewijs dat benchmarks alleen een onvolledig beeld schetsen van de betrouwbaarheid van agenten. Instrumenten die evaluatie continu, goedkoop en raamwerkonafhankelijk maken, spreken rechtstreeks aan op die angst.
Waarom het ertoe doet
Evaluatie is stilletjes het knelpunt geworden bij de adoptie van zakelijke agenten. Ontwikkelingssnelheid is niet langer de beperking; de beperking is vertrouwen: weten dat de agent die klanten beantwoordt, gegevens verplaatst of workflows uitvoert, dit correct zal doen onder omstandigheden die niemand individueel heeft getest.
Door de evaluatie te verankeren aan OpenTelemetry in plaats van aan een enkele SDK, gokt AWS erop dat de consensus over waarneembaarheid van de industrie kan verdubbelen als laag voor kwaliteitsborging. Of concurrenten volgen met gelijkwaardige raamwerk-agnostische scores zal veel zeggen over hoe snel agentische AI uitgroeit van demo's tot betrouwbare infrastructuur.
Voor teams die heterogene vloten beheren, is de praktische implicatie vergelijkbaarheid. Wanneer elke agent in hetzelfde telemetrieformaat rapporteert, wordt kwaliteit iets dat een organisatie in de loop van de tijd en tussen teams kan volgen in plaats van dit per project opnieuw af te leiden – een voorwaarde voor iets dat lijkt op operationele volwassenheid in agentische systemen. Voor bedrijven die diep in de hybride stapels van LangGraph-LlamaIndex zitten, of gewoon op hun hoede zijn voor het herschrijven van instrumentatie wanneer er een beter raamwerk verschijnt, is er nu een first-party optie van hun cloudprovider die hen niet vraagt een kant te kiezen.
---
Blijf AI een stap voorOntvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.
Lees meer AI-nieuws →
