En domare i USA har avkunnat en av de mest avgörande domarna hittills om användningen av artificiell intelligens inom brottsbekämpning, och menar att det fjärde tillägget inte tillåter polis att arrestera en person baserat på inget annat än en obekräftad AI-slutsats. Beslutet, utfärdat i en civil process väckt av Alain Vizcay Osorio och publicerat via DocumentCloud, avvisar en detektivs försök att hävda kvalificerad immunitet efter att han arresterade Osorio för att ha godkänt en dålig kontroll enbart baserat på en ansiktsigenkänningsmatch - en matchning som domstolen fann var uppenbart fel. Domslutets inledande paragraf anger principen rakt av: "Det fjärde tillägget till Förenta staternas konstitution tillåter inte en detektiv att delegera till AI uppgiften att bedöma sannolika orsaker." För pågående bevakning av AI-policy och -reglering, spårar AI Buzz Wire uppropet som många förväntar sig att följa.

En dålig kontroll, en CCTV-skärmdump och en Facebook-match

Fallet började med låginsats påstådd brottslighet och låginsats polisarbete. Osorio anklagades för att ha passerat en dålig check på en lokal bank, och de enda bilderna på den misstänkte kom från bankens CCTV-bilder. Kriminalpolis Ryan Kilmer från Florens, Kentucky Police Department tog en skärmdump av den misstänktes ansikte och körde den genom avdelningens ansiktsigenkänningsprogram. Systemet returnerade en matchning till en Facebook-profil som tillhörde någon listad som "Yony Smith Npoles Charon" - och, av vad domstolen torrt kallade en "okänd anledning", drog Kilmer slutsatsen att profilen tillhörde Osorio.

Fotografierna berättade en annan historia. Enligt beslutet liknar CCTV-filmerna och Facebook-profilbilden "inte bokningsbilden på Osorio." Baserat på bokningsfotot, konstaterade domstolen, var det enda Osorio hade gemensamt med den misstänkte att båda var svarta män med ansiktshår; bilderna visade en annan huvudform, en annan frisyr, olika ansiktsdrag och en annan hy.

Kilmers försäkran berättade för domstolen att han hade använt "utredningsverktyg" för att "matcha" Osorio med den misstänkte. I verkligheten, fann domaren, använde han ett enda verktyg och accepterade dess felaktiga utdata - trots Florence PD-policy som uttryckligen säger att ansiktsigenkänning ensam inte är tillräckligt för att fastställa sannolika orsaker. Detektiven, gör domen klart, ignorerade både sin avdelnings skrivna regler och konstitutionens grundkrav på att sannolika orsaker återspeglar en faktisk mänsklig bedömning av bevisen.

Vad domstolen faktiskt ansåg

Beslutets kärnspråk går längre än att konstatera att den här detektiven var oaktsam. Den formulerar en kategorisk regel: "det fjärde tillägget tillåter inte att en individ arresteras baserat på inget annat än en obekräftad slutsats från AI att individen i fråga har begått ett brott. Och ingen rimlig detektiv i den tilltalades ståndpunkt skulle kunna dra slutsatsen något annat."

Den andra meningen gör det tunga lyftet. Genom att konstatera att ingen förnuftig tjänsteman kunde tro att en obekräftad AI-matchning räcker, demolerade domstolen grunden för det kvalificerade immunitetsförsvaret, som i allmänhet skyddar tjänstemän från civilrättsligt ansvar om de inte kränkte tydligt etablerade rättigheter. Kilmer, ansåg domstolen, kan inte gömma sig bakom doktrinen - både för att det fjärde tillägget i sig förbjuder vad han gjorde och för att hans egen avdelnings policy sa till honom, skriftligen, att ansiktsigenkänning ensam inte kan fastställa sannolika orsaker.

Den praktiska konsekvensen är att detektiven ställs inför rättegången personligen, en hållning som både ökar pressen att lösa och gör överklagandeprövningen mer sannolikt, eftersom tjänstemannen nu har ett direkt ekonomiskt intresse i att utmana domen.

Implikationer som når långt bortom en dålig kontroll

Juridiska kommentatorer noterar att logiken i beslutet strålar utåt över den snabbt växande marknaden för polisens AI. Samma resonemang – att en algoritms utdata inte är bevis för trolig orsak förrän en människa självständigt bekräftar det – gäller med lika kraft för:

  • Ansiktsigenkänningssökningar, inklusive system som matchar övervakningsstillbilder mot skrapade webbbilder, mönstret i fråga i det här fallet.
  • Prediktiv polisprogram som styr patruller och offentliga interaktioner baserat på algoritmiska prognoser.
  • AI-genererade polisrapporter, som nu läggs till kroppskameror av leverantörer som Axon med antagandet att poliser föredrar att inte skriva dem - vilket väcker frågan om huruvida en maskinskriven berättelse om ett stopp eller användning av våld kan utgöra det officiella dokumentet.

Om en domstol säger att en algoritm inte kan fastställa den troliga orsaken, ärver varje nedströmssystem som tyst antar att algoritmen gjorde den bestämningen problemet. Avdelningar som har behandlat AI-utdata som undersökande genvägar kan behöva dokumentera äkta mänsklig bekräftelse innan arrestering, eller riskera både uteslutning av bevis och personligt ansvar för de inblandade poliserna.

Vad kommer härnäst

Den omedelbara frågan är överklagande. Eftersom kvalificerad immunitet nekades, har detektiven en stark motivation att ta fallet uppåt, och den konstitutionella frågan – om och hur AI-verktyg kan delta i bedömningar av sannolika orsaker – är exakt den typ av fråga som hovrätter skulle behöva lösa för att en regel som är så bred ska hårdna till prejudikat. Medborgerliga frihetsgrupper kommer sannolikt att ingripa till stöd för domen; polisförbund och AI-leverantörer kommer sannolikt att trycka tillbaka och hävdar att beslutet förväxlar en slarvig utredning med ett teknologipolitiskt problem.

Hur som helst sätter domen en markör som polisavdelningar kan läsa idag, utan att vänta på överklagandecykeln: AI-utdata är en ledtråd, inte en slutsats. Detektiven i det här fallet lät en ansiktsmatchande algoritm tänka, ignorerade sin avdelnings egen regel mot just det och står nu inför konsekvenserna personligen. Som beslutet i sig signalerar, förutsåg inte konstitutionens skapare neurala nätverk - men kravet på att en människa ska bedöma sannolika orsaker innan staten griper en person visar sig översätta utan att någon ändring krävs.

För avdelningar som letar efter AI-verktyg är budskapet lika direkt: säljarens påståenden om noggrannhet är inte policy. Skriftliga regler som kräver mänskligt stöd – som Florence PD:s, som detektiven ignorerade – är nu inte bara bästa praxis utan skillnaden mellan en avdelning som överlever en rättegång och en officer som personligen betalar för det.

---

Stay ahead of AI

Få de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.

Läs mer AI-nyheter →