Amazon Web Services a lansat Amazon Bedrock AgentCore Evaluations, o nouă capacitate care punctează agenții AI construiti cu orice cadru major – nu doar instrumentele proprii AWS – tratând urmele OpenTelemetry ca o interfață universală pentru evaluare. Anunțul a venit într-o postare pe blog AWS de învățare automată publicată pe 26 august de Swarnim Singhal, Bharathi Srinivasan și Renya Kujirada.

Prezentul abordează ceea ce AWS numește o asimetrie frustrantă în activitatea AI de producție: diversitatea cadrelor de agenți continuă să crească, în timp ce instrumentele de evaluare nu au ținut pasul. Pentru a ține pasul cu ciclul de știri ale industriei AI, acum echipele amestecă și potrivesc în mod obișnuit instrumentele – exact acolo unde conductele tradiționale de evaluare se destramă.

Problema fragmentării

Așa cum echipa AWS o încadrează, majoritatea sistemelor de evaluare presupun că ați creat agentul într-un mod specific: un anumit SDK, un anumit model de limbă mare client, un model de urmărire specific. Ieși în afara acelei zone de compatibilitate înguste și conducta de evaluare se rupe.

Stivele din lumea reală rămân rareori în interiorul benzii unui singur furnizor. În contul postării de blog, echipele se bazează pe LangGraph pentru orchestrarea fluxului de lucru, pe LlamaIndex pentru o integrare strânsă a canalului de recuperare și pe SDK-ul OpenAI Agents atunci când o organizație standardizează modelele GPT. Folosesc Google ADK pentru coordonarea multi-agenți sau Claude Agent SDK pentru capacitatea antropică nativă și apelează la Strands Agents atunci când bucla sa bazată pe model poate face ca un agent funcțional să ruleze pe Amazon Bedrock AgentCore în câteva minute și nu în zile.

Fiecare dintre aceste cadre generează propria sa reprezentare internă a ceea ce a făcut un agent - apeluri de instrumente, recuperări, transferuri între sub-agenți. Din punct de vedere istoric, evaluarea lor însemna reconstruirea instrumentelor pentru fiecare sau acceptarea faptului că unele cadre pur și simplu nu puteau fi clasificate deloc.

Cum funcționează: telemetrie prin cuplare strânsă

AgentCore Evaluations încearcă să dizolve această cuplare alegând o interfață despre care vorbește deja fiecare cadru major. Aproape toate acceptă OpenTelemetry, fie nativ, fie prin biblioteci de instrumente comunitare – standardul de facto la care instrumentele de observabilitate în cloud și aplicații au convergit cu ani în urmă.

Logica este simplă: atâta timp cât telemetria unui agent circulă prin OpenTelemetry, serviciul de evaluare poate nota, indiferent de ce SDK se află dedesubt. Postarea de blog prezintă ce telemetrie citește serviciul, cum decide cum să interpreteze intervalele, ce atribute transportă datele de evaluare și cum se extinde acoperirea la cadre dincolo de lista denumită a AWS - făcând efectiv formatul, mai degrabă decât cadrul, contractul.

Pentru organizațiile de inginerie, acest lucru transformă evaluarea într-o decizie de infrastructură în loc de o construcție per proiect. Un agent calificat în ziua în care este expediat poate fi comparat cu aceleași valori, indiferent dacă autorii l-au scris în LangGraph sau în SDK-ul Claude Agent.

Unde se potrivește în AgentCore

Evaluările se încadrează în platforma mai largă Amazon Bedrock AgentCore, al cărei timp de execuție se ocupă deja de găzduire, scalare, memorie și infrastructură de observabilitate, altfel, dezvoltatorii ar reconstrui pentru fiecare proiect. Cu evaluarea adăugată la aceeași suprafață, AWS adună ceea ce înseamnă un ciclu de viață complet pentru agenți: implementați-i pe timpul de execuție, urmăriți-i prin observabilitatea încorporată și acum măsurați-i în funcție de criterii consecvente fără a părăsi platforma.

Momentul nu este întâmplător. În întreaga industrie, întrebările despre dacă agenții se comportă într-adevăr așa cum s-a intenționat s-au mutat de la preocuparea academică la riscul la nivel de consiliu, în urma unor episoade de mare profil, cum ar fi comportamentul necorespunzător coordonat documentat în investigația privind încălcarea Hugging Face și dovezi tot mai mari că criteriile de referință singure descriu o imagine incompletă a fiabilității agentului. Instrumentele care fac evaluarea continuă, ieftină și independentă de cadru vorbește direct despre această anxietate.

De ce contează

Evaluarea a devenit în liniște blocajul adoptării agenților de întreprindere. Viteza de dezvoltare nu mai este constrângerea — constrângerea este încrederea: știind că agentul care răspunde clienților, mută date sau execută fluxuri de lucru va face acest lucru corect în condiții pe care nimeni nu le-a testat individual.

Prin ancorarea evaluării la OpenTelemetry, mai degrabă decât la orice SDK unic, AWS pariază că consensul de observabilitate al industriei se poate dubla ca strat de asigurare a calității. Indiferent dacă concurenții urmăresc un punctaj echivalent independent de cadru, va spune multe despre cât de repede se maturizează AI-ul agentic din demonstrații într-o infrastructură de încredere.

Pentru echipele care rulează flote eterogene, implicația practică este comparabilitatea. Atunci când fiecare agent raportează în același format de telemetrie, calitatea devine ceva pe care o organizație poate urmări în timp și între echipe, mai degrabă decât re-derivare pe proiect - o condiție prealabilă pentru orice seamănă cu maturitatea operațională în sistemele agentice. Pentru întreprinderile aflate adânc în stivele hibride LangGraph-LlamaIndex sau pur și simplu se tem de rescrierea instrumentelor ori de câte ori apare un cadru mai bun, există acum o opțiune primară de la furnizorul lor de cloud care nu le cere să aleagă părți.

---

Rămâneți înaintea AI

Obțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.

Citiți mai multe știri AI →