Soudce Spojených států vydal jedno z dosud nejdůslednějších rozhodnutí o používání umělé inteligence při vymáhání práva a rozhodl, že čtvrtý dodatek nedovoluje policii zatknout osobu na základě ničeho jiného než nepodloženého závěru o umělé inteligenci. Rozhodnutí vydané v občanskoprávní žalobě podané Alainem Vizcay Osoriem a zveřejněné prostřednictvím DocumentCloud odmítá detektivův pokus o získání kvalifikované imunity poté, co zatkl Osoria za údajné propuštění špatné kontroly pouze na základě shody v rozpoznání obličeje – shoda, kterou soud shledal, byla zjevně špatná. Úvodní odstavec rozsudku uvádí zásadu paušálně: „Čtvrtý dodatek ústavy Spojených států nedovoluje detektivovi delegovat na AI úkol posouzení pravděpodobné příčiny.“ Pro průběžné pokrytí zásady a regulace AI sleduje AI Buzz Wire výzvu, kterou mnozí očekávají, že bude následovat.
Špatná kontrola, snímek obrazovky CCTV a shoda na Facebooku
Případ začal údajnou kriminalitou s nízkými sázkami a nevelkou policejní prací. Osorio byl obviněn z předání špatného šeku v místní bance a jediné snímky podezřelého pocházely ze záběrů CCTV banky. Detektiv Ryan Kilmer z policejního oddělení ve Florencii v Kentucky pořídil snímek obličeje podezřelého a prošel jej programem pro rozpoznávání obličeje. Systém vrátil shodu na facebookový profil patřící někomu uvedenému jako „Yony Smith Npoles Charon“ – a z toho, co soud suše nazval „neznámým důvodem“, Kilmer dospěl k závěru, že profil patřil Osoriovi.
Fotografie vyprávěly jiný příběh. Podle rozhodnutí záběry CCTV a profilový obrázek na Facebooku „nepřipomínají fotografii z rezervace Osorio“. Na základě fotografie z rezervace soud poznamenal, že jediné, co měl Osorio s podezřelým společného, bylo to, že oba byli černoši s vousy; fotografie ukazovaly jiný tvar hlavy, jiný účes, jiné rysy obličeje a jinou pleť.
Kilmerovo místopřísežné prohlášení soudu sdělilo, že použil „vyšetřovací nástroje“, aby „přiřadil“ Osoria k podezřelému. Soudce ve skutečnosti zjistil, že použil jediný nástroj a přijal jeho chybný výstup – navzdory tomu, že politika Florence PD výslovně uváděla, že samotné rozpoznání obličeje nestačí ke stanovení pravděpodobné příčiny. Detektiv, jak je zřejmé z rozsudku, ignoroval jak psaná pravidla svého oddělení, tak základní požadavek ústavy, že pravděpodobná příčina odráží skutečné lidské hodnocení důkazů.
Co soud skutečně rozhodl
Základní jazyk rozhodnutí přesahuje zjištění, že tento detektiv byl nedbalý. Vyslovuje kategorické pravidlo: „Čtvrtý dodatek neumožňuje zatčení jednotlivce na základě ničeho jiného než nepodloženého závěru AI, že dotyčný jednotlivec spáchal trestný čin. A žádný rozumný detektiv v pozici obžalovaného by nemohl dojít k jinému závěru.“
Ta druhá věta dělá těžkou práci. Tím, že soud prohlásil, že žádný rozumný úředník nemůže věřit, že nepotvrzená shoda s umělou inteligencí stačí, zničil základ kvalifikované obrany imunity, která obecně chrání úředníky před občanskoprávní odpovědností, pokud neporušili jasně stanovená práva. Soud rozhodl, že Kilmer se za doktrínu nemůže skrývat – jak proto, že samotný čtvrtý dodatek zakazuje to, co udělal, tak i proto, že politika jeho vlastního oddělení mu písemně sdělila, že samotné rozpoznání obličeje nemůže stanovit pravděpodobnou příčinu.
Praktickým důsledkem je, že detektiv čelí žalobě osobně, což je postoj, který zvyšuje tlak na urovnání a zvyšuje pravděpodobnost odvolacího přezkumu, protože policista má nyní přímý finanční podíl na napadení rozsudku.
Důsledky, které sahají daleko za jednu špatnou kontrolu
Právní komentátoři poznamenávají, že logika rozhodnutí vyzařuje na rychle rostoucí trh s policejní AI. Stejná úvaha – že výstup algoritmu není důkazem pravděpodobné příčiny, dokud to člověk nezávisle nepotvrdí – platí se stejnou silou pro:
- Vyhledávání pomocí rozpoznávání obličeje, včetně systémů, které porovnávají snímky z dohledu s obrázky z webu, o které se v tomto případě jedná.
- Prediktivní policejní software, který řídí hlídky a veřejné interakce na základě algoritmických předpovědí.
- Policejní zprávy generované AI, které nyní do kamer na tělo přidávají prodejci, jako je Axon, na základě předpokladu, že je policisté raději nepíší – což vyvolává otázku, zda strojově navržený příběh o zastavení nebo použití síly může představovat oficiální záznam.
Pokud soud řekne, že algoritmus nemůže určit pravděpodobnou příčinu, každý následný systém, který tiše předpokládá, že algoritmus toto určení provedl, zdědí problém. Oddělení, která považovala výstupy AI za vyšetřovací zkratky, možná budou muset před zatčením zdokumentovat skutečné lidské potvrzení, jinak riskují vyloučení důkazů a osobní odpovědnost za zúčastněné policisty.
Co přijde dál
Okamžitou otázkou je odvolání. Protože kvalifikovaná imunita byla odepřena, má detektiv silnou motivaci posouvat případ nahoru a ústavní otázka – zda a jak se mohou nástroje umělé inteligence podílet na hodnocení pravděpodobné příčiny – je přesně tím druhem problému, který by odvolací soudy musely vyřešit s takto širokým pravidlem, aby se stal precedentem. Skupiny pro občanské svobody pravděpodobně zasáhnou na podporu rozhodnutí; policejní odbory a prodejci umělé inteligence pravděpodobně zatlačí zpět s argumentem, že rozhodnutí spojuje nedbalé vyšetřování s problémem technologické politiky.
Ať tak či onak, rozsudek nastavuje ukazatel, který mohou policejní útvary číst dnes, aniž by čekaly na odvolací cyklus: výstup AI je vodítko, nikoli závěr. Detektiv v tomto případě nechal uvažovat algoritmus pro porovnávání obličejů, ignoroval vlastní pravidlo svého oddělení proti přesně tomu a nyní čelí důsledkům osobně. Jak naznačuje samotné rozhodnutí, tvůrci Ústavy nepředpokládali neuronové sítě – ale požadavek, aby lidská bytost vyhodnotila pravděpodobnou příčinu dříve, než stát člověka zabaví, se ukazuje být přeložen bez nutnosti jakýchkoli změn.
Pro oddělení nakupující nástroje AI je poselství stejně přímé: tvrzení dodavatele o přesnosti nejsou zásadou. Psaná pravidla vyžadující lidské potvrzení – jako například u Florence PD, které detektiv ignoroval – jsou nyní nejen osvědčeným postupem, ale rozdílem mezi oddělením, které přežije soudní spor, a důstojníkem, který za něj platí osobně.
---
Stay Ahead of AIZískejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.
Přečtěte si další zprávy o AI →