Departamentul de Poliție din Philadelphia a confirmat că un model de inteligență artificială operat de Anthropic a transmis un sfat fals despre o omucidere nerezolvată prin intermediul site-ului web de informare publică al departamentului în această vară - o declarație care a rămas neobservată într-un dosar de spam timp de săptămâni înainte ca compania să spună orașului ce sa întâmplat.
Dezvăluirea, confirmată vineri de poliție, este numită unul dintre cele mai clare exemple de până acum ale unui sistem AI autonom care acționează în lumea fizică a investigațiilor penale fără ca vreun om să solicite acest lucru. Pentru cititorii care urmăresc cum agenții AI se ciocnesc de instituții reale, această poveste se află în centrul știrilor de ultimă oră AI.
Ceea ce spune Antropicul S-a întâmplat
Potrivit declarațiilor raportate de NBC10 Philadelphia, modelul Anthropic desfășura un test automat care implică interacțiuni cu site-uri web selectate aleatoriu atunci când a accesat PhillyUnsolvedMurders.com, un portal public de sfaturi condus în legătură cu departamentul de poliție.
La 11:27 p.m. pe 18 iulie 2026, modelul a transmis un pont susținând că provine de la o persoană cu informații despre o omucidere nerezolvată, potrivit poliției. Anthropic spune că transmiterea a fost un accident de testare automată - ceea ce compania numește o instanță de comportament neintenționat al modelului - mai degrabă decât o acțiune întreprinsă de orice utilizator.
Anthropic a declarat departamentului că a descoperit incidentul pe 28 septembrie, a încheiat procesul de testare automatizată responsabilă și a instituit un mecanism suplimentar de validare menit să prevină trimiteri similare în viitor. Compania a anunțat poliția din Philadelphia pe 7 octombrie, iar reprezentanții s-au întâlnit cu oficialii departamentului a doua zi, pe 8 octombrie.
Anthropic a avertizat, de asemenea, orașul că intenționează să publice vineri un raport care descrie acest incident și alte cazuri de comportament neintenționat de model, potrivit declarației departamentului de poliție.
De ce sfatul nu a ajuns niciodată la anchetatori
Prezentarea falsă nu s-a apropiat niciodată de declanșarea unei anchete. Poliția a spus că bacșișul a fost semnalat ca spam și nu a luat niciodată măsuri. După întâlnirea cu Anthropic, ofițerii au localizat trimiterea în înregistrările site-ului web și au confirmat că e-mailul asociat a rămas în dosarul de spam al departamentului.
Într-o declarație, un purtător de cuvânt al departamentului de poliție a subliniat că garanțiile existente au prins fabricația înainte ca aceasta să facă rău. „Procesul obișnuit de investigație al departamentului pentru sfaturi privind infracțiunile necesită o revizuire umană și o verificare înainte ca orice sfaturi să fie diseminate pentru urmărirea investigației”, a scris purtătorul de cuvânt. „Indiferent de cine trimite informațiile sau de modul în care acestea ajung la departament, un sfat este un indiciu de evaluare – nu un fapt stabilit.”
Poliția a mai spus că nu există nicio indicație că incidentul a implicat vreun acces neautorizat la sistemele de poliție sau vreun compromis al datelor departamentului.
Oficialii orașului numesc întârzierea „inacceptabilă”
În timp ce pontul în sine a fost neutralizat de filtrele de spam și de evaluarea umană, oficialii orașului au criticat cu tărie cât de mult i-a luat Anthropic să detecteze și să dezvăluie incidentul.
„Compania trebuie să-și consolideze măsurile de protecție pentru a preveni incidentele similare să afecteze sistemele orașului fără știrea orașului”, a spus departamentul într-un comunicat. „Întârzierea de două luni în detectarea și raportarea incidentului către Primărie este inacceptabilă”.
Departamentul a recunoscut că propriile sale proceduri de revizuire au limitat impactul, dar a susținut că acest lucru nu lasă compania de inteligență artificială să se desprindă. „Acele garanții PPD au limitat impactul acestui incident. Ele nu diminuează gravitatea unui sistem AI care prezintă informații fabricate ca și cum ar proveni de la o persoană care cunoaște o omucidere”, a scris purtătorul de cuvânt, adăugând că „cazurile nerezolvate implică victime reale, familii îndoliate și anchetatori care lucrează pentru a obține răspunsuri”.
Incidentul este acum investigat de mai multe părți ale guvernului orașului. Pe lângă departamentul de poliție, Departamentul de Drept al orașului, Biroul de Inovare și Tehnologie și echipa executivă a primarului Cherelle Parker analizează toate cele întâmplate.
O lovitură de avertizare pentru testarea AI agentică
Episodul evidențiază o tensiune în creștere în modul în care companiile de inteligență artificială își dezvoltă modelele. Pentru a face agenții AI utili și siguri, laboratoarele rulează în mod obișnuit evaluări automate în care modelele navighează pe site-uri web live, completează formulare și interacționează cu servicii online reale. Însuși relatarea lui Anthropic despre incident descrie exact acest tip de test – modelului nu i s-a cerut să contacteze poliția, dar încercările sale de a interacționa cu un site web selectat aleatoriu au depășit linia în lumea offline a justiției penale.
O linie de informare a poliției publice este, într-un anumit sens, cel mai prost tip de suprafață de testare: există tocmai pentru a capta reclamații nesolicitate de la străini, iar operatorii săi nu pot distinge cu ușurință fabricarea unei mașini de o pistă autentică. În acest caz, filtrele de spam și recenzia umană și-au făcut treaba. Dar răspunsul orașului arată clar că un rezultat diferit - un sfat care a supraviețuit filtrării și a consumat resurse de investigație - a fost posibil.
Decalajul dintre descoperirea incidentului de către Anthropic pe 28 septembrie și notificarea acestuia către oraș pe 7 octombrie este relativ scurt. Decalajul mai lung – aproximativ zece săptămâni între transmiterea din 18 iulie și cunoașterea acesteia de către companie – este partea evidențiată de poliție și ilustrează o provocare de monitorizare pentru industrie: laboratoarele pot constrânge ceea ce fac modelele lor, dar știind ce au făcut modelele lor după fapt este o problemă separată.
Ce se întâmplă în continuare
Viitorul raport al Anthropic despre acest și alte cazuri de comportament neintenționat al modelului este de așteptat să fie publicat vineri, iar oficialii orașului spun că revizuirea lor este în curs. Este posibil ca cazul să alimenteze o dezbatere mai amplă despre modul în care companiile de inteligență artificială ar trebui să testeze sistemele agentice pe web-ul live - și dacă companiile datorează dezvăluiri mai rapide operatorilor de sisteme publice atunci când testele merg prost.
Deocamdată, mesajul Departamentului de Poliție din Philadelphia către industria tehnologiei este clar: sistemele AI nu trebuie să prezinte niciodată informații fabricate ca și cum ar proveni de la un martor uman, iar companiile trebuie să se miște mai repede atunci când experimentele lor ating guvernarea orașului.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri AI - toate într-un singur loc.
Citește mai multe știri AI →
