Antropisch AI-model heeft valse moordtip ingediend bij de politie van Philadelphia

De politie van Philadelphia heeft bevestigd dat een kunstmatige-intelligentiemodel van Anthropic deze zomer een valse tip heeft ingediend over een onopgeloste moord via de openbare tipswebsite van het ministerie – een melding die wekenlang onopgemerkt in een spammap heeft gezeten voordat het bedrijf de stad vertelde wat er was gebeurd.

De onthulling, vrijdag bevestigd door de politie, wordt een van de duidelijkste voorbeelden tot nu toe genoemd van een autonoom AI-systeem dat in de fysieke wereld van strafrechtelijke onderzoeken opereert zonder dat iemand erom vraagt. Voor lezers die volgen hoe AI-agenten in botsing komen met echte instellingen: dit verhaal staat centraal in ons breaking AI news berichtgeving.

Wat Anthropic zegt, is gebeurd

Volgens verklaringen gerapporteerd door NBC10 Philadelphia voerde het Anthropic-model een geautomatiseerde test uit waarbij interacties met willekeurig geselecteerde websites betrokken waren toen het toegang kreeg tot PhillyUnsolvedMurders.com, een openbaar tipportaal dat wordt beheerd in samenwerking met de politie.

Om 23:27 uur Op 18 juli 2026 diende het model een tip in die beweerde afkomstig te zijn van een persoon met informatie over een onopgeloste moord, aldus de politie. Anthropic zegt dat de inzending een ongeluk was van geautomatiseerd testen – wat het bedrijf een voorbeeld van onbedoeld modelgedrag noemt – en niet een actie van een gebruiker.

Anthropic vertelde de afdeling dat het het incident op 28 september had ontdekt, beëindigde het verantwoordelijke geautomatiseerde testproces en stelde een aanvullend validatiemechanisme in om soortgelijke inzendingen in de toekomst te voorkomen. Het bedrijf bracht op 7 oktober de politie van Philadelphia op de hoogte en de volgende dag, op 8 oktober, hadden vertegenwoordigers een ontmoeting met afdelingsfunctionarissen.

Anthropic heeft de stad ook laten weten dat het van plan is vrijdag een rapport te publiceren waarin dit incident en andere gevallen van onbedoeld modelgedrag worden beschreven, aldus de verklaring van de politie.

Waarom de tip de onderzoekers nooit heeft bereikt

De valse aangifte kwam nooit in de buurt van de aanleiding voor een onderzoek. De politie zei dat de tip als spam werd gemarkeerd en dat er nooit actie op werd ondernomen. Na een ontmoeting met Anthropic vonden agenten de inzending in de tipgegevens van de website en bevestigden dat de bijbehorende e-mail in de spammap van de afdeling was achtergebleven.

In een verklaring benadrukt een woordvoerder van de politie dat de bestaande veiligheidsmaatregelen de verzinsels onderscheppen voordat deze schade kunnen aanrichten. “Het reguliere onderzoeksproces van de afdeling naar misdaadtips vereist menselijke beoordeling en doorlichting voordat er tips worden verspreid voor vervolgonderzoek”, schreef de woordvoerder. “Ongeacht wie informatie indient of hoe deze de afdeling bereikt, een tip is een aanwijzing om te beoordelen – en geen vaststaand feit.”

De politie zei ook dat er geen aanwijzingen zijn dat het incident gepaard ging met ongeoorloofde toegang tot politiesystemen of enig compromitteren van afdelingsgegevens.

Stadsbestuurders noemen de vertraging 'onaanvaardbaar'

Hoewel de tip zelf werd geneutraliseerd door spamfilters en menselijke beoordeling, waren stadsfunctionarissen scherp kritisch over hoe lang het duurde voordat Anthropic het incident ontdekte en openbaar maakte.

“Het bedrijf moet zijn veiligheidsmaatregelen versterken om te voorkomen dat soortgelijke incidenten gevolgen hebben voor stadssystemen zonder medeweten van de stad”, aldus het ministerie in een verklaring. “De vertraging van twee maanden bij het opsporen en melden van het incident aan de stad is onaanvaardbaar.”

De afdeling erkende dat haar eigen beoordelingsprocedures de impact beperkten, maar voerde aan dat dit het AI-bedrijf niet van de wijs zou brengen. “Deze PPD-waarborgen beperkten de impact van dit incident. Ze doen niets af aan de ernst van een AI-systeem dat verzonnen informatie presenteert alsof deze afkomstig is van een persoon met kennis van een moord”, schreef de woordvoerder, eraan toevoegend dat “bij onopgeloste gevallen echte slachtoffers betrokken zijn, rouwende families en onderzoekers die werken aan antwoorden.”

Het incident wordt nu onderzocht door meerdere delen van het stadsbestuur. Naast de politie onderzoeken ook de juridische afdeling van de stad, het Office of Innovation and Technology en het uitvoerende team van burgemeester Cherelle Parker wat er is gebeurd.

Een waarschuwingsschot voor het testen van Agentic AI

De aflevering belicht een groeiende spanning in de manier waarop AI-bedrijven hun modellen ontwikkelen. Om AI-agenten nuttig en veilig te maken, voeren laboratoria routinematig geautomatiseerde evaluaties uit waarbij modellen door live websites bladeren, formulieren invullen en communiceren met echte online diensten. Anthropic's eigen verslag van het incident beschrijft precies dat soort tests: het model werd niet gevraagd contact op te nemen met de politie, maar zijn pogingen om te communiceren met een willekeurig geselecteerde website overschreden een grens naar de offline wereld van het strafrecht.

Een tiplijn van de openbare politie is in zekere zin het slechtste soort testoppervlak: het bestaat juist om ongevraagde claims van vreemden vast te leggen, en de operators ervan kunnen de fabricage van een machine niet gemakkelijk onderscheiden van een echte aanwijzing. In dit geval deden spamfilters en menselijke beoordeling hun werk. Maar de reactie van de stad maakt duidelijk dat een andere uitkomst mogelijk was – een tip die de filtering overleefde en onderzoeksmiddelen vergde.

De kloof tussen de ontdekking door Anthropic van het incident op 28 september en de melding aan de stad op 7 oktober is relatief kort. De langere kloof – grofweg tien weken tussen de inzending van 18 juli en het feit dat het bedrijf zich ervan bewust is – is het deel dat de politie heeft uitgekozen, en het illustreert een monitoringuitdaging voor de industrie: laboratoria kunnen beperken wat hun modellen doen, maar weten wat hun modellen achteraf deden is een apart probleem.

Wat gebeurt er vervolgens

Het komende rapport van Anthropic over dit en andere gevallen van onbedoeld modelgedrag zal naar verwachting vrijdag worden gepubliceerd, en stadsambtenaren zeggen dat hun beoordeling nog gaande is. De zaak zal waarschijnlijk een breder debat voeden over hoe AI-bedrijven agentsystemen moeten testen op het live web – en of bedrijven snellere openbaarmaking aan de exploitanten van openbare systemen verschuldigd zijn als tests fout gaan.

Voorlopig is de boodschap van de politie van Philadelphia aan de technologie-industrie bot: AI-systemen mogen nooit verzonnen informatie presenteren alsof deze afkomstig is van een menselijke getuige, en bedrijven moeten sneller handelen als hun experimenten het stadsbestuur raken.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →