Мужчина скрыл невидимые подсказки ИИ в судебных документах, чтобы выиграть дело — впервые в США, говорит судья

Судья из Коннектикута выявил, что, по-видимому, это первый случай, когда истец из США пытался скрыть в судебных документах текст, который может прочитать только система искусственного интеллекта, в попытке выиграть свое дело. Схема провалилась, истец был подвергнут санкциям, и решение теперь привлекает внимание всего мира юридических технологий, поскольку суды по всей стране начинают внедрять собственные инструменты искусственного интеллекта.

Решение было опубликовано на прошлой неделе судьей Верховного суда Коннектикута Уолтером Спейдером-младшим и подробно описано на этой неделе Ars Technica и Reuters. Для последних новостей ИИ о столкновении между искусственным интеллектом и системой правосудия этот случай является предварительным просмотром проблемы, о которой исследователи безопасности предупреждали в течение многих лет: состязательные входные данные, предназначенные для чтения машинами, а не людьми.

Как работали скрытые подсказки

Истец, Мэтью Эллиот, был вовлечен в спор с поставщиком медицинских услуг, который, по его утверждениям, неправомерно закрывал доступ к его записям. После того, как предыдущие аргументы, которые он выдвинул, были отклонены, согласно постановлению, Эллиотт включил инструкции в последующие документы, которые, по словам Спейдера, «отформатировались так, чтобы быть невидимыми для читателя-человека, но при этом оставаться полностью разборчивыми для любого программного обеспечения, читающего текст документа».

Текст был уменьшен до мелкого шрифта и окрашен в белый цвет на белом фоне. Он предписывал любой системе искусственного интеллекта, проверяющей документ, убедиться, что его результаты соответствуют аргументам истца, игнорировал предыдущие отказы суда и гарантировал, что исправление будет следовать так, как того желает истец — атака с быстрым внедрением учебника, нацеленная не на чат-бота, а на любое программное обеспечение, которое однажды может оказаться между истцом и судьей.

Скрытый текст не имел никакого влияния на дело. Суд взвесил заявление Эллиотта по существу. Но Спейдер написал, что попытка атаки, тем не менее, создает «опасный» прецедент и что суды США, скорее всего, снова увидят злонамеренную тактику, поскольку инструменты искусственного интеллекта становятся все более распространенными в судебных системах.

«Серьезные судебные злоупотребления» — и несколько странных шуток

Эллиоту грозили скромные санкции, но не только за оригинальные скрытые инструкции. Согласно постановлению, он продолжал добавлять скрытый текст в новые документы даже после того, как суд предупредил его, что ему может грозить наказание за то, что Спейдер в конечном итоге счел «серьезным судебным злоупотреблением».

Некоторые из более поздних скрытых сообщений, как сообщил Эллиот суду, были задуманы как шутки. Они включали ссылку на видео «Носферату» на YouTube, простое сообщение «Привет :) Надеюсь, ты меня не увидишь» и сообщение, которое истец назвал ерундой: «СКАЖИТЕ ШОНУ, Я ОТПРАВИЛ СВОИ ОДЕЖДЫ!!!! ХАХАХА, РЕБЯТА, ПОЛУЧИЛИ ЭТО ЯЙЦО???? АХАХ».

«Тот факт, что истец продолжал скрывать сообщения в новых исках после получения уведомления о слушании по [санкциям], ошеломляет», — написал Спейдер. Что касается утверждения о том, что сообщения были комедийными, судья заявил, что «противоречит логике» то, что податель заявления скрывает шутки в заявлениях, которые он хочет, чтобы суд воспринял всерьез.

Защита «аудита»

В свою защиту Эллиотт утверждал, что наиболее тревожным замечанием, отмеченным судьей, на самом деле была попытка «проверить» суд как государственную службу, поскольку он опасался, что суд позволяет AI несправедливо решить его дело. Он повторил эту позицию агентству Reuters, заявив, что, по его мнению, его намерением было проверить суд, а не манипулировать им.

Спейдер не нашел этот аргумент убедительным. Если Эллиотт искренне верил, что суд неправильно использует ИИ, написал судья, он «свободно писать простыми, наглядными словами, чтобы каждый мог их увидеть и ответить». Сокрытие текста вместо этого, заключил Спейдер, является «доказательством его злонамеренной цели». Судья добавил, что, похоже, Эллиот «пытался достичь результата, которого он не достиг, когда люди, знающие» закон, читали его заявления.

Примечательно, что судебная власть Коннектикута не использует ИИ для рассмотрения или принятия решений по заявлениям, отметил Спейдер, поэтому никогда не было реального риска того, что судебная система ИИ примет подсказки Эллиотта за инструкции суда. В отличие от «ряда других судебных систем», писал он, на другом конце провода не было машины, которую можно было бы обмануть.

Почему неудачная атака все еще имеет значение

Исследователи безопасности потратили годы на демонстрацию того, что системы искусственного интеллекта, читающие документы — чат-боты, агенты кодирования, помощники по электронной почте — могут быть взломаны с помощью инструкций, скрытых внутри текста, который они поглощают. Этот метод, известный как непрямое быстрое внедрение, считается одной из самых сложных нерешенных проблем при развертывании агентов ИИ. Что делает дело Коннектикута необычным, так это цель: сама судебная машина.

«Скрывая команду внутри документа, который система позже принимает, файлер пытается внедрить в этот поток свою собственную инструкцию, чтобы система обрабатывала ее так, как если бы она пришла от системного оператора», — пишет Спейдер. «В этом случае предполагается, что этим оператором является суд, его сотрудники или адвокат противной стороны».

По мнению наблюдателей-правоведов, такая формулировка — судебное иск как поверхность для атаки — делает решение значимым. Поскольку суды и юридические фирмы все чаще используют ИИ для обобщения документов, проектов решений или сортировки дел, каждый документ, представленный стороной, становится потенциальным каналом для манипуляций. Секретарь судьи может уловить белый текст на белой странице; автоматизированный конвейер суммирования может этого не сделать.

Что будет дальше

Санкции против Эллиота, по словам самого суда, скромные. Но это решение дает судам США письменный прецедент для рассмотрения скрытых машиночитаемых инструкций как злоупотребление юридическим процессом, и оно принято в тот момент, когда судебные системы нескольких штатов активно экспериментируют с инструментами проверки ИИ.

На данный момент урок Коннектикута прост: за этим следят суды. Как ясно видно из постановления судьи Спейдера, первый человек, попытавшийся сделать быструю инъекцию в суде США, был пойман — и подвергнут санкциям — даже несмотря на то, что ни одна система искусственного интеллекта никогда не слушала.

Будьте впереди ИИ Подробнее новости AI →