New Mexicos högsta domstol har sanktionerat en advokat för att ha lämnat in ett mordöverklagande byggt på vittnen som aldrig funnits - tillverkade i grossistledet av ChatGPT - i ett av de skarpaste exemplen hittills på artificiell intelligens "hallucinationer" som nått hjärtat av det amerikanska rättssystemet.
Enligt en rapport från Reuters böt statens högsta domstol Santa Fe-advokaten Stephen Aarons på 5 000 $ och höll honom i förakt för att han inte hade "verifierat de faktiska påståendena och den juridiska auktoriteten i hans AI-genererade brief". Kortet, som lämnades in som en del av ett överklagande av hans klients morddom, "innehöll falskt vittnesmål från helt påhittade vittnen", tillsammans med falska påståenden om skyttens kläder och utseende. För mer sammanhang om den här historien, se våra pågående brytande AI-nyheter.
Vad domstolen fann
Rättens anmälan beskrev inte mindre felaktigheter. Den beskrev ett överklagandedokument som trollade människor ur tomma luften: vittnesmål som tillskrivs vittnen som inte finns, och hittade på polisuttalanden om vad skytten bar och hur skytten såg ut - exakt den typ av saklig detalj som en morddom kan vända på.
Enligt The Verge, som rapporterade om stämningsansökan, ålades sanktionen eftersom Aarons misslyckades med att "verifiera de faktiska påståendena och juridisk auktoritet i sin AI-genererade brief" innan han lämnade in den till domstolen. Problemet var med andra ord inte att en advokat använde ett AI-verktyg för att hjälpa till med utformningen. Det var att advokaten lämnade in resultatet utan att kontrollera ett enda påhittat krav mot det faktiska rättegångsprotokollet.
"Advokat, tittar du på nyheterna?"
Fallets extraordinära karaktär dök upp vid en förhandling i augusti, där Aarons erkände att han hade använt ChatGPT och sa till domstolen att han hade förväntat sig att chatboten skulle producera en "skottsäker sammanfattning" av rättegången. Den förväntningen fick ett skarpt svar från New Mexicos högsta domstolsdomare C. Shannon Bacon.
"Aktör, tittar du på nyheterna? Lyssnar du på radio? Läser du något om vad som händer i världen?" frågade Bacon, enligt Reuters. "För att problemet med advokater som förlitar sig på AI-hallucinationer är en berättelse över mitten varje dag."
Rättvisans tillrättavisning fångade i vilken utsträckning AI-tillverkade citat och vittnesmål har flyttats från ett nischtekniskt problem till ett vanligt professionellt ansvar – ett som domarna nu antar att varje praktiserande advokat borde känna till.
Det senaste i en rad AI-sanktioner
Fallet i New Mexico är det senaste i en snabbt växande lista över domstolar som straffar advokater för okontrollerad AI-användning. Förra året kritiserade en domare två advokatbyråer för att de lämnat in en skrivelse som innehåller "många falska, felaktiga och vilseledande juridiska citat och citat", medan advokater som representerar MyPillows grundare Mike Lindell också bötfälldes för att ha inkluderat AI-genererade felcitat och falska citat i en domstolsanmälan, noterade The Verge.
Det som skiljer New Mexico-sanktionen åt är materialet som tillverkades. De flesta tidigare fall involverade uppfunna juridiska citat - falska prejudikat, falska citat från verkliga fall. Här gick tillverkningen till själva fakta: vittnen, vittnesmål och fysiska bevisbeskrivningar i ett brottmålsöverklagande. Den distinktionen spelar roll, eftersom faktatillverkning i ett mordfall träffar kärnan i vad överklagandeprövning finns för att skydda.
Trendlinjen är omisskännlig. Som The Verge observerade, med antalet advokater som använder AI-verktyg i sitt arbete ökar, så ökar också de fall där en domstol upptäcker citat som är fabricerade – eller hallucinerade – av AI. Det som en gång behandlades som ett pinsamt förbiseende straffas i allt högre grad som ett bristande yrkeskompetens, med böter, föraktsbeslut och granskning från disciplinära myndigheter.
"Jag är ångerfull"
Aarons, å sin sida, sa till Reuters att han hoppas att nedfallet slutar med professionell disciplin. "Jag är ångerfull men hoppfull att disciplinnämnden tar hänsyn till att det var ett ärligt misstag", sa han i ett uttalande.
Huruvida disciplinnämnden behandlar det som ett ärligt misstag återstår att se, men delstatens högsta domstol har redan gjort sin egen uppfattning klar: böter på 5 000 dollar och ett förakt för ett uppdrag som aldrig har verifierats mot verkligheten.
Varför det är viktigt
Fallet landar när domstolar över hela landet skärper sina ståndpunkter om AI-användning i rättstvister. Domare har i allt högre grad krävt att advokater ska intyga att AI-genererade anmälningar har verifierats, och sanktioner har blivit den synliga verkställighetsmekanismen. Meddelandet från New Mexicos högsta domstol kommer sannolikt att sträcka sig långt bortom dess gränser: verifieringsplikten är personlig, ej delegerbar och försvinner inte eftersom en chatbot producerade prosa som lät självsäkert.
För advokatkåren skiftar kalkylen. Redskapsverktyg för AI kan spara timmars arbete, men ett enda påhittat vittne i en skrivelse kan nu kosta böter, ett föraktbeslut och en hänvisning till disciplinära myndigheter – en handel som få utövare kommer att tycka är attraktiv. För alla andra är fallet en påminnelse om att de personer som är tänkta att kontrollera AI:s utdata är under mer press än någonsin att faktiskt kontrollera dem.
Insatserna är högst i brottmål. Sanktioner för falska citat slösar på rättslig tid; påhittade bevis i en mordöverklagan berör mekanismen som avgör om en fällande dom står fast. En appellationsdomstol kan bara väga anspråk som är förankrade i den verkliga journalen - och en kortfattad med fantomvittnen ber domare att avgöra händelser som aldrig hänt.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
