Суддя з Коннектикуту виявив, що, мабуть, вперше американський позивач намагався приховати текст у судових документах, який може прочитати лише система штучного інтелекту, намагаючись виграти свою справу. Ця схема провалилася, проти позивача було застосовано санкції, і рішення привертає увагу в усьому світі юридичних технологій, оскільки суди по всій країні починають застосовувати власні інструменти ШІ.

Рішення було опубліковано минулого тижня суддею Уолтером Спейдером-молодшим із Верховного суду Коннектикуту, а цього тижня детально висвітлено Ars Technica та Reuters. Для [надзвичайних новин штучного інтелекту] (https://aibuzzwire.news) про зіткнення між штучним інтелектом і системою правосуддя, ця справа є попереднім переглядом проблеми, про яку дослідники безпеки попереджали роками: змагальні дані, призначені для читання машинами, а не людьми.

Як працювали приховані підказки

Позивач, Меттью Елліотт, був заблокований у суперечці з постачальником медичних послуг, який, як він стверджував, неправомірно закривав доступ до його записів. Після того, як попередні аргументи, які він висунув, були відхилені, згідно з рішенням, Елліотт вставив інструкції в наступні документи, які, за словами Спейдера, були «відформатовані так, щоб бути невидимими для людини, що читає, але залишалися повністю розбірливими для будь-якого програмного забезпечення, яке читає текст документа».

Текст було зменшено до дрібних точок і пофарбовано в білий колір на білому тлі. Він керував будь-якою системою штучного інтелекту, яка переглядала документ, щоб переконатися, що його результати узгоджуються з аргументами позивача, ігнорував попередні відмови суду та гарантував, що виправлення відбуватиметься за бажанням позивача — це хрестоматійна атака, спрямована не на чат-бота, а на будь-яке програмне забезпечення, яке одного дня може виявитися між стороною та суддею.

Прихований текст не вплинув на справу. Суд зважив заяву Елліотта по суті. Але Спейдер написав, що спроба атаки, тим не менш, створює «небезпечний» прецедент і що суди США, ймовірно, знову побачать зловмисну ​​тактику, оскільки інструменти штучного інтелекту стануть більш поширеними в судових системах.

"Серйозне порушення судового процесу" — і кілька дивних жартів

Елліотт зіткнувся зі скромними санкціями, але не лише за оригінальні приховані інструкції. Відповідно до рішення, він продовжував додавати прихований текст до нових заяв навіть після того, як суд попередив його, що йому можуть загрожувати покарання за те, що Спейдер зрештою вважав «серйозним порушенням судового процесу».

Деякі з пізніших прихованих повідомлень, як сказав Елліотт суду, були призначені для жартів. Вони містили посилання на відео Носферату на YouTube, просте повідомлення «привіт :) я сподіваюся, що ви не побачите мене», і повідомлення, яке позивач назвав нісенітницею: «СКАЖІТЬ ШОНУ, ЩО Я НАДИСЛАЮ СВІЙ RE GARBS!!!! ХАХАХА, ХЛОПЦІ, ОТРИМАЙТЕ ЦЕ ЯЙЦЕ???? АХАХ».

«Той факт, що позивач продовжував приховувати повідомлення в нових клопотаннях після отримання повідомлення про це [санкційне] слухання, вражає», — написав Спейдер. Щодо твердження про те, що повідомлення були комічними, суддя сказав, що це «суперечить логіці» для заявника ховати жарти в благаннях, які він хоче, щоб суд сприйняв серйозно.

Захист "аудиту".

На свій захист Елліотт стверджував, що найбільш тривожна підказка, яку помітив суддя, насправді була спробою «аудитувати» суд як державну службу, оскільки він побоювався, що суд дозволяє ШІ несправедливо вирішувати його справу. Він повторив цю позицію агентству Reuters, сказавши, що він наполягає на тому, щоб перевірити суд, а не маніпулювати ним.

Спейдер не вважав цей аргумент достовірним. Суддя писав, що якщо Елліотт справді вважав, що суд неналежним чином використовував штучний інтелект, то він міг «вільно писати прості, зрозумілі слова, щоб усі могли бачити та відповідати». Натомість приховування тексту, підсумував Спейдер, є «доказом його зловмисної мети». Суддя додав, що, здається, Елліотт «намагався досягти результату, якого він не досяг, коли люди, обізнані» з законом, читали його благання.

Примітно, що судова гілка Коннектикуту не використовує штучний інтелект для перегляду або прийняття рішень, зазначив Спейдер, тому ніколи не було реального ризику, що система штучного інтелекту суду сприйме підказки Елліотта за вказівки суду. На відміну від «кількох судових систем в інших місцях», писав він, на іншому кінці не було машини, яка могла б обдурити.

Чому невдала атака все ще має значення

Дослідники безпеки витратили роки, щоб продемонструвати, що системи штучного інтелекту, які читають документи — чат-боти, агенти кодування, помічники електронної пошти — можуть бути захоплені інструкціями, прихованими всередині тексту, який вони поглинають. Техніка, відома як непряма швидка ін’єкція, вважається однією з найскладніших невирішених проблем у розгортанні агентів ШІ. Що робить справу Коннектикуту незвичною, так це ціль: сам механізм правосуддя.

«Приховуючи команду в документі, який пізніше отримує система, файлер намагається незаконно перемістити свою власну інструкцію в цей потік, щоб система розглядала її так, ніби вона надійшла від системного оператора», — написав Спейдер. «У цьому випадку таким оператором вважається суд, його співробітники або адвокат протилежної сторони».

Правові спостерігачі кажуть, що таке оформлення — подання до суду як поверхня для атаки — робить це рішення значущим. Оскільки суди та юридичні фірми все частіше використовують штучний інтелект для узагальнення документів, проектів рішень або сортування реєстрів, кожен документ, поданий стороною, стає потенційним каналом для маніпуляцій. Секретар судді може вловити білий текст на білій сторінці; автоматичний конвеєр узагальнення може ні.

Що буде далі

Санкції проти Елліотта, за описом самого суду, скромні. Але це рішення дає судам США письмовий прецедент для розглядання прихованих машинозчитуваних інструкцій як зловживання судовим процесом, і воно приходить у той момент, коли судові системи кількох штатів активно експериментують із інструментами перевірки ШІ.

Наразі урок Коннектикуту простий: за цим стежать суди. Як чітко випливає з рішення судді Спейдера, першу особу, яка спробувала негайну ін’єкцію в суді США, було спіймано — і накладено санкції — хоча жодна система ШІ ніколи не слухала.

Будьте попереду ШІ Читати більше новин AI →