Nejvyšší soud v Novém Mexiku posvětil právníka za podání stížnosti na vraždu založenou na svědcích, kteří nikdy neexistovali – vykonstruovaný velkoobchodně ChatGPT – v jednom z dosud nejpřísnějších příkladů „halucinací“ umělé inteligence, které zasahují do srdce amerického soudního systému.

Podle zprávy agentury Reuters udělil nejvyšší soud státu Santa Fe právníkovi ze Santa Fe Stephenu Aaronsovi pokutu 5 000 dolarů a držel jej v pohrdání za to, že „neověřil faktická tvrzení a právní autoritu ve svém briefu vytvořeném AI“. Dokument předložený jako součást odvolání proti odsouzení jeho klienta za vraždu „obsahoval křivá svědectví od zcela vymyšlených svědků“ spolu s nepravdivými tvrzeními o oblečení a vzhledu střelce. Další kontext k tomuto příběhu naleznete v našich probíhajících přelomových zprávách o AI.

Co soud zjistil

V podání soudu nebyly popsány drobné nepřesnosti. Popisoval odvolací dokument, který přičaroval lidi ze vzduchu: svědectví připisovaná svědkům, kteří neexistují, a vynalezená policejní prohlášení o tom, co měl střelec na sobě a jak střelec vypadal – přesně ten druh faktických detailů, které může způsobit odsouzení za vraždu.

Podle listu The Verge, který informoval o soudním podání, byla sankce uložena, protože Aarons před předložením soudu „neověřil faktická tvrzení a právní autoritu ve svém briefu vytvořeném AI“. Jinými slovy, problém nebyl v tom, že právník používal nástroj AI, aby pomohl s návrhem. Bylo to tak, že právník podal výstup, aniž by porovnal jediný vykonstruovaný nárok se skutečným soudním protokolem.

"Poradce, díváte se na zprávy?"

Mimořádná povaha případu vyšla najevo na srpnovém slyšení, kde Aarons přiznal, že použil ChatGPT, a řekl soudu, že očekával, že chatbot vytvoří „neprůstřelné shrnutí“ procesu. Toto očekávání vyvolalo ostrou reakci soudce Nejvyššího soudu Nového Mexika C. Shannona Bacona.

"Páni, díváte se na zprávy? Posloucháte rádio? Čtete něco o tom, co se děje ve světě?" zeptal se Bacon podle agentury Reuters. "Protože problém s právníky, kteří se spoléhají na halucinace umělé inteligence, je každý den nad věcí."

Soudcova výtka zachytila, do jaké míry se citace a svědectví uměle vytvořené umělé inteligence posunuly od specializovaného technického problému k běžné profesionální odpovědnosti – takové, o které soudci nyní předpokládají, že by o ní měl vědět každý praktikující právník.

Nejnovější v řadě sankcí AI

Případ Nového Mexika je posledním v rychle rostoucím seznamu soudů, které trestají právníky za nekontrolované používání umělé inteligence. Minulý rok soudce kritizoval dvě právnické firmy za předložení briefu obsahujícího „četné nepravdivé, nepřesné a zavádějící právní citace a citace“, zatímco právníci zastupující zakladatele MyPillow Mika Lindella byli také pokutováni za zahrnutí chybných citací a falešných citací generovaných AI do soudního spisu, poznamenal The Verge.

To, co odlišuje sankce pro Nové Mexiko, je materiál, který byl vyroben. Většina dřívějších případů zahrnovala vymyšlené právní citace – falešné precedenty, falešné citace ze skutečných případů. Zde se výmysl dostal k samotným faktům: svědkům, svědectvím a fyzickým důkazům v trestním odvolání. Na tomto rozdílu záleží, protože vymýšlení faktů v případě vraždy zasahuje do jádra toho, co má odvolací přezkum chránit.

Trendová linie je nezaměnitelná. Jak poznamenal The Verge, s počtem právníků, kteří při své práci používají nástroje umělé inteligence, rostou i případy, kdy soud objeví citace, které jsou vymyšlené – nebo halucinované – umělou inteligencí. To, co bylo dříve považováno za trapné přehlédnutí, je stále častěji trestáno jako nedostatek odborné způsobilosti, pokutami, pohrdáním rozsudky a kontrolou ze strany disciplinárních orgánů.

"Mám výčitky svědomí"

Aarons ze své strany agentuře Reuters řekl, že doufá, že tento spad se zastaví před profesionální disciplínou. "Je mi to líto, ale doufám, že disciplinární komise vezme v úvahu, že to byla čestná chyba," uvedl v prohlášení.

Zda to disciplinární komise považuje za čestnou chybu, se teprve uvidí, ale nejvyšší státní soud už dal jasně najevo svůj vlastní názor: pokuta 5000 dolarů a pohrdání zadáním, které nebylo nikdy ověřeno proti realitě.

Proč na tom záleží

Případ končí, když soudy po celé zemi přitvrzují své pozice ohledně používání AI v soudních sporech. Soudci stále častěji vyžadují, aby právníci potvrdili, že podání generovaná umělou inteligencí byla ověřena, a sankce se staly viditelným vynucovacím mechanismem. Zpráva od Nejvyššího soudu v Novém Mexiku se pravděpodobně dostane daleko za jeho hranice: povinnost ověřit je osobní, nelze ji delegovat a nezmizí, protože chatbot vytvořil sebevědomě znějící prózu.

U advokacie se výpočet posouvá. Nástroje pro navrhování umělé inteligence mohou ušetřit hodiny práce, ale jeden vymyšlený svědek v podaném zadání může nyní stát pokutu, rozsudek za pohrdání a postoupení disciplinárním orgánům – jen málo odborníků bude atraktivní. Pro všechny ostatní je tento případ připomínkou toho, že lidé, kteří mají kontrolovat výstupy AI, jsou pod větším tlakem než kdy jindy, aby je skutečně kontrolovali.

Nejvyšší sázky jsou v trestních věcech. Sankce za falešné citace plýtvají soudním časem; vymyšlené důkazy v odvolání proti vraždě se dotknou mechanismu, který rozhoduje o tom, zda je odsouzení platné. Odvolací soud může posuzovat pouze nároky zakotvené ve skutečném záznamu – a stručná zpráva plná fantomových svědků žádá soudce, aby rozhodli o událostech, které se nikdy nestaly.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →