Amazon Web Services uruchomił Amazon Bedrock AgentCore Evaluations, nową funkcję, która ocenia agentów AI zbudowanych w oparciu o dowolne główne środowisko — nie tylko własne narzędzia AWS — poprzez traktowanie śladów OpenTelemetry jako uniwersalnego interfejsu do oceny. Ogłoszenie pojawiło się w poście na blogu dotyczącym uczenia maszynowego AWS opublikowanym 26 sierpnia przez Swarnima Singhala, Bharathi Srinivasan i Renyę Kujiradę.
Prezentacja dotyczy tego, co AWS nazywa frustrującą asymetrią w pracy AI w środowisku produkcyjnym: różnorodność platform agentów stale rośnie, podczas gdy narzędzia ewaluacyjne nie nadążają za tempem. Aby nadążać za szerszym cyklem wiadomości z branży AI, zespoły obecnie rutynowo mieszają i dopasowują narzędzia – i właśnie w tym miejscu rozpadają się tradycyjne procedury oceny.
Problem fragmentacji
Jak to sformułował zespół AWS, większość systemów ewaluacyjnych zakłada, że agenta zbudowano w jeden konkretny sposób: konkretny zestaw SDK, konkretny klient z dużym modelem językowym, określony wzorzec śledzenia. Wyjdź poza tę wąską strefę zgodności, a potok oceny ulegnie przerwaniu.
Stosy w świecie rzeczywistym rzadko pozostają na linii jednego sprzedawcy. Na koncie wpisu na blogu zespoły korzystają z LangGraph do orkiestracji przepływu pracy, z LlamaIndex do ścisłej integracji potoku wyszukiwania oraz z pakietu SDK OpenAI Agents, gdy organizacja standaryzuje modele GPT. Używają Google ADK do koordynacji wielu agentów lub pakietu Claude Agent SDK do natywnych funkcji Anthropic i sięgają po Strands Agents, gdy pętla oparta na modelu może uruchomić działającego agenta na Amazon Bedrock AgentCore w ciągu kilku minut, a nie dni.
Każdy z tych frameworków generuje własną wewnętrzną reprezentację tego, co zrobił agent — wywołania narzędzi, pobieranie, przekazywanie między podagentami. Historycznie rzecz biorąc, ich ocena oznaczała przebudowę oprzyrządowania dla każdego z nich lub zaakceptowanie faktu, że niektórych frameworków po prostu nie można w ogóle ocenić.
Jak to działa: telemetria przy ciasnym połączeniu
AgentCore Evaluations próbuje rozwiązać to połączenie, wybierając interfejs, z którego korzystają już wszystkie główne platformy. Prawie wszystkie z nich obsługują OpenTelemetry, natywnie lub za pośrednictwem bibliotek instrumentów społecznościowych — de facto standard, z którym wiele lat temu zbiegły się narzędzia chmurowe i narzędzia do obserwacji aplikacji.
Logika jest prosta: dopóki dane telemetryczne agenta przepływają przez OpenTelemetry, usługa oceny może je ocenić, niezależnie od tego, jaki pakiet SDK znajduje się pod spodem. W poście na blogu omówiono, jakie dane telemetryczne odczytuje usługa, w jaki sposób decyduje o sposobie interpretacji rozpiętości, które atrybuty przenoszą dane ewaluacyjne oraz w jaki sposób zasięg rozciąga się na platformy poza nazwaną listą AWS — skutecznie tworząc kontrakt, a nie format.
W przypadku organizacji inżynieryjnych oznacza to, że ocena staje się decyzją dotyczącą infrastruktury, a nie koniecznością tworzenia poszczególnych projektów. Agent oceniony w dniu wysyłki można porównać z tymi samymi wskaźnikami, niezależnie od tego, czy autorzy napisali go w LangGraph, czy w pakiecie SDK Claude Agent.
Gdzie to pasuje w AgentCore
Oceny dotyczą szerszej platformy Amazon Bedrock AgentCore, której środowisko wykonawcze obsługuje już infrastrukturę hostingu, skalowania, pamięci i obserwowalności, którą programiści w przeciwnym razie przebudowaliby dla każdego projektu. Po dodaniu oceny do tej samej powierzchni AWS składa się z pełnego cyklu życia agentów: wdrażaj ich w środowisku wykonawczym, obserwuj je dzięki wbudowanej obserwowalności, a teraz mierz je według spójnych kryteriów bez opuszczania platformy.
Termin nie jest przypadkowy. W całej branży pytania dotyczące tego, czy agenci rzeczywiście zachowują się zgodnie z zamierzeniami, przesunęły się z obaw akademickich do ryzyka na szczeblu zarządu w następstwie głośnych epizodów, takich jak skoordynowane niewłaściwe zachowanie udokumentowane w dochodzeniu w sprawie naruszenia zasad Hugging Face i rosnącej liczby dowodów na to, że same testy porównawcze dają niepełny obraz niezawodności agentów. Narzędzia, które sprawiają, że ocena jest ciągła, tania i niezależna od ram, bezpośrednio przemawiają do tego niepokoju.
Dlaczego to ma znaczenie
Ocena po cichu stała się wąskim gardłem w adopcji agentów korporacyjnych. Szybkość rozwoju nie jest już ograniczeniem — ograniczeniem jest pewność: świadomość, że agent odpowiadający klientom, przenoszący dane lub wykonujący przepływy pracy zrobi to poprawnie w warunkach, których nikt nie testował indywidualnie.
Opierając ewaluację na OpenTelemetry, a nie na jakimkolwiek pojedynczym pakiecie SDK, AWS stawia na to, że konsensus branżowy w zakresie obserwowalności może podwoić się jako warstwa zapewniania jakości. To, czy konkurenci podążą tą samą ścieżką, niezależnie od platformy, powie wiele o tym, jak szybko agentyczna sztuczna inteligencja dojrzewa od wersji demonstracyjnych do niezawodnej infrastruktury.
W przypadku zespołów posiadających heterogeniczne floty praktyczną konsekwencją jest porównywalność. Kiedy każdy agent raportuje w tym samym formacie telemetrycznym, jakość staje się czymś, co organizacja może śledzić w czasie i między zespołami, a nie na nowo wyprowadzać na potrzeby poszczególnych projektów — warunek wstępny czegokolwiek, co przypomina dojrzałość operacyjną w systemach agentowych. W przypadku przedsiębiorstw głęboko zaznajomionych ze stosami hybrydowymi LangGraph-LlamaIndex lub po prostu nieufnych przed przepisywaniem oprzyrządowania za każdym razem, gdy pojawi się lepsza platforma, dostępna jest teraz opcja pierwszej strony od dostawcy chmury, która nie wymaga wyboru strony.
---
Wyprzedź sztuczną inteligencjęOtrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
