Городской прокурор Сан-Франциско приказал Apple и Google удалить приложения для обнажения людей с помощью искусственного интеллекта из своих магазинов приложений, предупредив, что эти платформы нарушают законы Калифорнии, запрещающие сервисы, создающие фейковую порнографию. Спрос обостряет растущую конфронтацию по поводу инструментов ИИ, которые превращают обычные фотографии реальных людей в откровенные изображения, — кризис, жертвами которого непропорционально сильно пострадали женщины и дети.
Масштаб проблемы
Приложения для обнажения используют генеративный искусственный интеллект, позволяющий с легкостью снимать одежду с фотографий реальных людей, изменять их черты лица, размещать их в сексуальных позах и менять лица на обнаженные тела других людей. Эта технология быстро распространилась в магазинах мобильных приложений, а ее результаты используются для запугивания, унижения и угроз жертвам разрушительными последствиями.
Городской прокурор Сан-Франциско Дэвид Чиу рассказал Wired, что его офис был в полном ужасе от того, насколько повсеместной стала технология обнажения тела, жертвами которой становятся в основном женщины и дети в тревожных масштабах, поскольку все больше инструментов наводняют рынок. Изображения, по его словам, используются для разрушения репутации, нанесения вреда психическому здоровью и лишения жертв самостоятельности, при этом некоторые цели становятся склонными к самоубийству.
Чего требуют письма
По данным Wired, офис Чиу направил обеим компаниям официальные письма с предупреждением, что их магазины приложений нарушают законы Калифорнии, которые запрещают поддержку сервисов, создающих фейковую порнографию. Он попросил Google удалить пять приложений, а Apple — восемь. Конкретные приложения не были названы в публичных отчетах, чтобы не подталкивать людей к ним, но Wired отметил, что одно помеченное приложение накопило более миллиона загрузок и открыто рекламировало функции, позволяющие сексуализировать изображения женщин или создавать бесплатные видеоролики без цензуры.
По оценкам офиса Чиу, Apple и Google, вероятно, заработали миллионы долларов на комиссионных, позволяя вредоносным приложениям оставаться в своих магазинах, вместо того, чтобы принимать более решительные меры или разрабатывать более совершенные системы обнаружения. Городской прокурор охарактеризовал ситуацию как получение прибыли от общественного беспокойства, заявив, что оставлять доступными такие приложения неприемлемо.
Google отвечает, Apple хранит молчание
В заявлении для Ars Technica представитель Google Дэн Джексон подтвердил, что пять приложений, отмеченных Чиу, были заблокированы из магазина Google Play за нарушение политики в отношении вредоносного контента. Джексон сказал, что Google Play не допускает приложений, содержащих сексуальный контент, и что компания постоянно принимает активные меры по обнаружению и удалению приложений с вредоносным контентом. По словам Джексона, когда поступают сообщения о нарушениях, Google проводит расследование и принимает быстрые меры, включая приостановку работы сотен нарушающих приложений и ограничение связанных поисковых запросов, таких как обнажение тела, в своем магазине.
Реакция Apple была заметно иной. Хотя в прошлом компания удалила некоторые приложения, отмеченные исследователями, в остальном она хранила молчание на фоне призывов более агрессивно полицейские использовать приложения для обнажения в своем App Store. Производитель iPhone не сразу предоставил подробный публичный ответ на требования городского прокурора.
Игра в кошки-мышки с обнаружением
Проблема контроля над этими приложениями усугубляется их развивающейся тактикой. Wired сообщил, что исследователи недавно предупредили, что некоторые вредоносные приложения стали лучше уклоняться от удаления из магазина приложений, рекламируя только функции замены лиц, скрывая при этом свои возможности обнажения. В майском препринте исследователи выявили 420 приложений, рекламируемых как универсальные инструменты для замены лиц, и протестировали 155 из них. Более чем в 70 процентах случаев приложения могут использоваться для сексуализации изображений, демонстрируя, как легко вредоносная функциональность скрывается за безобидным маркетингом.
Этот пробел в обнаружении означает, что даже когда магазины приложений активно ищут инструменты для обнажения тела, многие из них ускользают, представляя себя безобидным программным обеспечением для развлечений или редактирования фотографий. Результаты исследователей показывают, что истинное количество проблемных приложений в обращении, вероятно, намного превышает тринадцать, отмеченные офисом Чиу.
Прецедент Грока
Репрессии против приложения nudify также пересекаются с более широкой дискуссией о вредном контенте, создаваемом искусственным интеллектом. На этой неделе xAI подала иск, подтверждающий, что она обнаружила случаи сгенерированных Гроком материалов о сексуальном насилии над детьми и интимных изображений, снятых без согласия и нацеленных на взрослых. Чтобы устранить неправомерное использование, xAI подала в суд на пользователя, предположительно ответственного за то, что побудила Грока создать незаконный контент.
Дело Грока поднимает более острый вопрос для магазинов приложений: должны ли чат-боты с искусственным интеллектом, которым можно предложить создавать незаконный контент, сами подлежат удалению. По сообщениям NBC News, в апреле Apple сообщила сенаторам, что в частном порядке угрожала удалить Grok из App Store, но приложение xAI остается доступным и сегодня. Пока существует возможность использовать Grok для создания незаконного контента, магазины приложений, скорее всего, будут продолжать сталкиваться с давлением, требующим принятия мер, точно так же, как Чиу требовал создания отдельных приложений для обнажения тела.
Поворотный момент в подотчетности платформы
Приказ Сан-Франциско представляет собой одно из самых агрессивных на сегодняшний день правительственных мер, направленных против магазинов приложений из-за вредоносного контента, созданного искусственным интеллектом. Ссылаясь на калифорнийские законы о дипфейковой порнографии, Чиу проверяет, могут ли законы штата заставить операторов платформ брать на себя ответственность за инструменты искусственного интеллекта, распространяемые через их торговые площадки.
Результат может создать прецедент того, как другие юрисдикции подходят к этой проблеме и лягут ли бремя контроля над изображениями, созданными ИИ без согласия, на разработчиков, операторов платформ или на обоих. Для миллионов людей, преимущественно женщин и девочек, на которых нацелены эти инструменты, ставки выходят далеко за рамки теории регулирования.
Будьте впереди ИИ
Чтобы постоянно освещать вопросы этики искусственного интеллекта, подотчетности платформ и нормативных баталий по поводу вредных синтетических носителей, подписывайтесь на AI Buzz Wire, чтобы сообщать о проблемах, влияющих на влияние искусственного интеллекта на общество.
Подробнее о новостях по этике ИИ →
