Het Hooggerechtshof van New Mexico heeft een advocaat gesanctioneerd voor het indienen van een beroep op moord, gebaseerd op getuigen die nooit hebben bestaan ​​– in het groot verzonnen door ChatGPT – in een van de meest duidelijke voorbeelden tot nu toe van ‘hallucinaties’ van kunstmatige intelligentie die de kern van het Amerikaanse rechtssysteem bereiken.

Volgens een rapport van Reuters heeft de hoogste rechtbank van de staat Santa Fe-advocaat Stephen Aarons een boete van $ 5.000 opgelegd en hem veracht omdat hij er niet in was geslaagd "de feitelijke beweringen en juridische autoriteit in zijn door AI gegenereerde briefing te verifiëren". De brief, ingediend als onderdeel van een beroep tegen de veroordeling wegens moord van zijn cliënt, "bevatte valse getuigenissen van volledig verzonnen getuigen", samen met valse beweringen over de kleding en het uiterlijk van de schutter. Voor meer context over dit verhaal, zie ons voortdurende breaking AI news.

Wat de rechtbank heeft gevonden

In het dossier van de rechtbank werden geen kleine onnauwkeurigheden beschreven. Het beschreef een beroepsdocument dat mensen uit het niets toverde: getuigenissen toegeschreven aan getuigen die niet bestaan, en verzonnen politieverklaringen over wat de schutter droeg en hoe de schutter eruitzag – precies het soort feitelijke details dat een veroordeling wegens moord kan opleveren.

Volgens The Verge, dat rapporteerde over de rechtszaak, werd de sanctie opgelegd omdat Aarons er niet in slaagde "de feitelijke beweringen en juridische autoriteit in zijn door AI gegenereerde briefing te verifiëren" voordat hij deze aan de rechtbank voorlegde. Met andere woorden: het probleem was niet dat een advocaat een AI-tool gebruikte om te helpen bij het opstellen ervan. Het was zo dat de advocaat de output indiende zonder ook maar één verzonnen claim te vergelijken met het feitelijke procesdossier.

"Raadsman, kijkt u naar het nieuws?"

Het buitengewone karakter van de zaak kwam naar voren tijdens een hoorzitting in augustus, waar Aarons toegaf dat hij ChatGPT had gebruikt en de rechtbank vertelde dat hij had verwacht dat de chatbot een ‘kogelvrije samenvatting’ van het proces zou produceren. Die verwachting lokte een scherp antwoord uit van rechter C. Shannon Bacon, rechter bij het Hooggerechtshof van New Mexico.

'Adviesheer, kijkt u naar het nieuws? Luistert u naar de radio? Leest u iets over wat er in de wereld gebeurt?' vroeg Bacon volgens Reuters. "Omdat het probleem met advocaten die vertrouwen op AI-hallucinaties elke dag een boven-de-vouw-verhaal is."

De berisping van de rechter weerspiegelde de mate waarin door AI verzonnen citaten en getuigenissen zijn geëvolueerd van een technisch nicheprobleem naar een mainstream beroepsaansprakelijkheid – een probleem waarvan rechters nu aannemen dat elke praktiserende advocaat hiervan op de hoogte zou moeten zijn.

De nieuwste in een reeks AI-sancties

De zaak in New Mexico is de laatste in een snelgroeiende lijst van rechtbanken die advocaten straffen voor ongecontroleerd AI-gebruik. Vorig jaar veroordeelde een rechter twee advocatenkantoren omdat ze een brief hadden ingediend met ‘talrijke valse, onnauwkeurige en misleidende juridische citaten en citaten’, terwijl advocaten die MyPillow-oprichter Mike Lindell vertegenwoordigden ook een boete kregen voor het opnemen van door AI gegenereerde verkeerde citaten en valse citaten in een rechtszaak, merkte The Verge op.

Wat de sanctie in New Mexico onderscheidt, is het materiaal dat is verzonnen. Bij de meeste eerdere zaken ging het om verzonnen juridische citaten – valse precedenten, valse citaten uit echte zaken. Hier ging de verzinsel naar de feiten zelf: getuigen, getuigenissen en fysieke bewijsbeschrijvingen in een strafrechtelijk beroep. Dat onderscheid is van belang, omdat het verzinnen van feiten in een moordzaak de kern raakt van wat de beroepsbeoordeling moet beschermen.

De trendlijn is onmiskenbaar. Zoals The Verge opmerkte: nu het aantal advocaten dat AI-tools gebruikt in hun werk toeneemt, neemt ook het aantal gevallen toe waarin een rechtbank citaten ontdekt die door AI zijn verzonnen – of gehallucineerd. Wat ooit werd behandeld als een gênante vergissing, wordt steeds vaker bestraft als een gebrek aan vakbekwaamheid, met boetes, minachtende uitspraken en toezicht door disciplinaire autoriteiten.

"Ik heb berouw"

Aarons van zijn kant zei tegen Reuters dat hij hoopt dat de gevolgen ophouden als er geen professionele discipline is. "Ik heb er spijt van, maar hoop dat de tuchtraad er rekening mee houdt dat het een eerlijke fout was", zei hij in een verklaring.

Of de tuchtraad het als een eerlijke vergissing beschouwt, valt nog te bezien, maar de hoogste rechtbank van de staat heeft zijn eigen standpunt al duidelijk gemaakt: een boete van $ 5.000 en een minachting voor een opdracht die nooit aan de werkelijkheid is getoetst.

Waarom het ertoe doet

De zaak komt terecht nu rechtbanken in het hele land hun standpunten over het gebruik van AI in rechtszaken verharden. Rechters hebben steeds vaker van advocaten geëist dat zij bevestigen dat door AI gegenereerde dossiers zijn geverifieerd, en dat sancties het zichtbare handhavingsmechanisme zijn geworden. De boodschap van het Hooggerechtshof van New Mexico zal waarschijnlijk tot ver buiten zijn grenzen reiken: de plicht om te verifiëren is persoonlijk, niet delegeerbaar, en verdwijnt niet omdat een chatbot zelfverzekerd klinkend proza ​​produceerde.

Voor de advocatuur is de berekening aan het verschuiven. Hulpmiddelen voor het opstellen van AI kunnen uren werk besparen, maar een enkele verzonnen getuige in een ingediende brief kan nu een boete, een minachtingsuitspraak en een verwijzing naar disciplinaire autoriteiten kosten – een vak dat maar weinig beoefenaars aantrekkelijk zullen vinden. Voor alle anderen is de zaak een herinnering dat de mensen die de output van AI moeten controleren, meer dan ooit onder druk staan ​​om ze ook daadwerkelijk te controleren.

Bij strafzaken is de inzet het hoogst. Sancties wegens valse citaten verspillen gerechtelijke tijd; verzonnen bewijsmateriaal in een beroep tegen moord raakt het mechanisme dat beslist of een veroordeling standhoudt. Een hof van beroep kan alleen claims afwegen die zijn verankerd in het echte dossier – en een kort geding met fantoomgetuigen vraagt ​​rechters om uitspraak te doen over gebeurtenissen die nooit hebben plaatsgevonden.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →