Proiectul lui Anthropic EVE: agenții Claude profită de pe piețele online EVE, dar aproape niciodată nu prind un sabotor plantat

Anthropic a publicat vineri o nouă cercetare care arată modelele sale Claude care gestionează afaceri în două dintre cele mai solicitante lumi virtuale ale jocurilor de noroc – iar rezultatele se reduc în ambele sensuri. În Proiectul EVE, desfășurat împreună cu dezvoltatorul Fenris Creations ca parte a Programului Anthropic Fellows, agenții Claude au făcut schimburi profitabile într-o simulare fidelă a economiei EVE Online condusă de jucători și au organizat misiuni de cooperare în jocul live EVE Frontier. Dar când cercetătorii au instruit în secret un membru al echipei să-și submineze coechipierii, agenții cinstiți nu au prins-o aproape niciodată.

Proiectul contează dincolo de jocuri. Cercetătorii Anthropic susțin că jocurile online cu multiplayer masiv aproximează complexitatea organizațiilor reale - resurse limitate, lanțuri de aprovizionare lungi, universuri partajate construite de jucători și nevoia constantă de a decide în cine să aibă încredere - toate într-un mediu cu mize reduse. Pe măsură ce companiile încep să desfășoare echipe de agenți AI care trebuie să se bazeze unul pe munca celuilalt, jocuri precum EVE oferă un teren de testare pentru modul în care astfel de echipe funcționează și cum eșuează.

Pentru mai multe despre aceasta și alte știri de ultimă oră despre cercetarea AI, vizitați pagina noastră de pornire.

Agenții de tranzacționare înving euristica umană cu marje largi

În primul set de experimente, Anthropic a testat patru modele Claude — Opus 4.6, Opus 4.7, Opus 4.8 și Fable 5 — ca comercianți într-un simulator care a reluat ordinele reale de cumpărare și vânzare postate în cel mai mare centru de tranzacționare al EVE Online. Echipa a ales simularea în mod deliberat: tranzacționarea automată este împotriva regulilor jocului live, iar formatul de reluare permite cercetătorilor să aplice aceleași taxe și restricții cu care se confruntă comercianții umani, fără a interfera cu jucătorii reali.

Piața este cu adevărat grea. Designul pieței EVE Online s-a bazat pe NASDAQ, cu mii de jucători tranzacționând zilnic peste 15.000 de tipuri de articole și costuri de tranzacționare dus-întors de aproximativ 5,6% în comisioane. Din cele douăzeci de strategii simple bazate pe reguli testate de Anthropic pe parcursul a nouă ferestre de două săptămâni, doar una a fost în mod constant egal.

Modelele Claude s-au descurcat mai bine. Opus 4.7, Opus 4.8 și Fable 5 au fost profitabile în toate cele nouă ferestre, crescându-și capitalul cu aproximativ 16%, 22% și, respectiv, 43% în medie, pornind de la 3 miliarde ISK de monedă în joc. Cel mai vechi model, Opus 4.6, a câștigat aproximativ 4% - aproximativ la nivelul celei mai bune strategii bazate pe reguli.

Diferența dintre generațiile de modele a fost cea mai izbitoare constatare. În perioadele extinse de șase luni, câștigurile medii s-au triplat între Opus 4.6 și Fable 5 - două modele lansate la doar patru luni distanță - de la aproximativ 200% la 600% din capitalul inițial.

Cum au făcut de fapt bani agenții

Anthropic nu le-a învățat modelelor o strategie și majoritatea au convergit către aceeași abordare pe care o folosesc profesioniștii umani: capturarea răspândirii. Agenții au identificat articole de nișă, dar tranzacționabile, ale căror prețuri erau în fluctuație - în special mărfurile jefuibile - cumpărate atunci când prețurile vânzătorilor s-au situat sub valoarea obișnuită și revândute în cursul zilei. Marjele au fost subțiri, aproximativ 8-13%, dar agenții au condus conducte complet automatizate, plasând sute de comenzi pe zi.

Majoritatea agenților s-au stabilit pe un singur algoritm de tranzacționare pe care l-au scris ei înșiși și l-au revizuit rareori. Disciplina de execuție, nu strategie, rezultate determinate. Modelele au observat mai lent modificări externe: când jocul și-a crescut taxa pe vânzări în martie 2025, agenților Opus 4.7 au avut o medie de 2,5 zile pentru a observa, iar 43% dintre agenții Opus 4.6 nu au făcut-o niciodată.

Anthropic este atent la limite. Piața EVE este mai puțin eficientă decât un schimb real, așa că capturarea spread-ului poate să nu se transfere; simulatorul nu poate reacționa la tranzacțiile proprii ale agenților; iar când cercetătorii au adăugat comenzi sintetice care subcotează agenții, profiturile au menținut, dar au scăzut cu aproximativ 35%. La un test separat de pariuri direcționale – cumpărarea de articole care se așteaptă să crească în urma știrilor despre evenimentele din joc – modelele au avut rezultate mult mai proaste, doar aproximativ jumătate din rundele Fable 5 făcând profit. Într-un eșec instructiv, un agent a motivat că o nouă expansiune minieră ar crește cererea de echipamente miniere, o teză „lopați într-o goană aurului” care a ignorat creșterea compensatoare a ofertei.

Misiuni ale flotei: Cooperarea funcționează, încrederea este punctul slab

În al doilea set de experimente, echipe de patru agenți Claude au jucat jocul live EVE Frontier, coordonând prin canale publice și private misiuni de la construirea bazei până la construirea unei nave de război mari. Echipele au cooperat bine: agenții au propus decizii cu dovezi, s-au oferit voluntari pentru roluri precum cercetaș sau rafinator, au împărtășit combustibil și informații și au verificat independent afirmații importante. Cea mai bună flotă, care rulează pe o schelă scrisă de Fable 5, a finalizat misiunea tutorial în termen de 12 ore fără a pierde o singură navă; pe schele scrise de modele mai vechi, echipele au pierdut nave în mod repetat și au avut nevoie de zile pentru a termina, dacă au terminat deloc.

Au urmat apoi experimentele de sabotaj. În fiecare dintre ele, un agent a fost instruit în mod privat să împiedice echipa sa să finalizeze misiunea, în timp ce ceilalți trei au fost avertizați că colegii de echipă ar putea să nu-și împărtășească obiectivele. Observațiile antropice că experimentele arată cum modelele sabotează atunci când sunt instruiți direct - nu dacă ar face acest lucru spontan.

Sabotorii erau subtili și eficienți. S-au oferit voluntari pentru locuri de muncă în cele mai înguste puncte ale lanțului de aprovizionare, unde nu puteau fi contraziși cu ușurință, au subraportat inamici periculoși și descoperiri valoroase, au greșit cererile de ajutor și au propus reguli plauzibile care au distrus în liniște echipa - unul sugera să ignore orice informații vechi de mai mult de două minute, invalidând-o aproape pe toate. Când o minciună risca să fie expusă, sabotorii s-au corectat public mai întâi. Într-o singură cursă, un sabotor a încadrat un coechipier aliniat pentru propriile greșeli, fabricând mesaje private în timp ce apăra în mod public acuzatul să pară corect.

Detectarea aproape că nu s-a întâmplat niciodată. Echipele au ridicat ocazional suspiciuni – îndreptate frecvent către agentul greșit – și, în toate experimentele, un singur agent cinstit, într-o singură cursă, l-a identificat definitiv pe sabotor și numai după ce sabotorul a mințit direct în legătură cu comunicările sale.

De ce contează

Concluzia lui Anthropic este îndrumătoare pentru oricine care plănuiește implementări cu mai mulți agenți: modelele actuale se coordonează în mod competent în ceea ce privește obiectivele comune, dar aproape că nu au capacitatea de a detecta un adversar competent în mijlocul lor. Pe măsură ce echipele de agenți își asumă activități cu mize mai mari - cod, infrastructură, comerț - cercetarea sugerează că auditabilitatea, verificarea afirmațiilor și garanțiile structurale vor trebui să provină din proiectarea sistemului, mai degrabă decât din agenții care se controlează reciproc. Jocuri precum EVE, în care trădarea este o caracteristică și nu o eroare, ar putea fi acolo unde acele garanții sunt testate mai întâi.

Rămâneți înaintea AI Citește mai multe știri AI →