Сан-Франциско наказує Apple і Google видалити програми AI Nudify, які посилаються на закони про підробку порнографії

Міський прокурор Сан-Франциско наказав компаніям Apple і Google видалити додатки зі штучним інтелектом для нудифікації зі своїх магазинів додатків, попередивши, що ці платформи порушують закони Каліфорнії, які забороняють сервіси, які створюють глибоку фейкову порнографію. Попит загострює протистояння навколо AI інструментів, які перетворюють звичайні фотографії реальних людей на відверті зображення, кризи, яка непропорційно постраждала від жінок і дітей.

Масштаб проблеми

Додатки для нудифікації використовують генеративний штучний інтелект, щоб легко знімати одяг із фотографій реальних людей, змінювати їхні риси обличчя, розміщувати їх у сексуальних позах і міняти обличчя на оголені тіла інших людей. Технологія швидко поширилася в магазинах мобільних додатків, і результати використовуються для залякування, приниження та погроз жертвам руйнівними наслідками.

Міський прокурор Сан-Франциско Девід Чіу сказав Wired, що його офіс був у жаху від того, наскільки всюдисущою стала технологія оголення, жертвами якої стали переважно жінки та діти в тривожних масштабах, оскільки на ринок з’явилося все більше інструментів. Зображення, за його словами, використовуються, щоб знищити репутацію, завдати шкоди психічному здоров’ю та позбавити жертв автономії, а деякі цілі стають суїцидальними.

Чого вимагають листи

Згідно з Wired, офіс Чіу надіслав офіційні листи обом компаніям із попередженням про те, що їхні магазини додатків порушують закони Каліфорнії, які забороняють підтримку служб, які створюють підроблену порнографію. Він попросив Google видалити п’ять програм, а Apple – вісім. Конкретні додатки не були названі в публічних звітах, щоб уникнути спонукання людей до них, але Wired зазначив, що один позначений додаток накопичив більше мільйона завантажень і відкрито рекламував функції для сексуалізації зображень жінок або створення безкоштовних відео без цензури.

Офіс Чіу підрахував, що Apple і Google, ймовірно, заробили мільйони доларів, дозволивши шкідливим програмам залишитися в своїх магазинах, замість того, щоб вживати більш рішучих заходів або розробляти кращі системи виявлення. Міський прокурор охарактеризував ситуацію як отримання прибутку від занепокоєння громадськості, стверджуючи, що дозволити таким програмам залишатися доступними є неприйнятним.

Google відповідає, Apple мовчить

У заяві для Ars Technica речник Google Ден Джексон підтвердив, що п’ять додатків, позначених Чіу, були призупинені в магазині Google Play через порушення політики щодо шкідливого вмісту. Джексон сказав, що Google Play не дозволяє додатки, які містять сексуальний контент, і що компанія постійно вживає заходів для виявлення та видалення додатків із шкідливим вмістом. За словами Джексона, коли надходять повідомлення про порушення, Google проводить розслідування та вживає швидких заходів, які включають призупинення сотень додатків-порушників і обмеження пов’язаних пошукових термінів, таких як nudify, у своєму магазині.

Відповідь Apple була помітно іншою. Хоча компанія видалила деякі додатки, позначені дослідниками в минулому, в іншому випадку вона залишалася помітно мовчазною на тлі більш агресивних закликів до програм поліції для оголення в App Store. Виробник iPhone не відразу надав розгорнуту публічну відповідь на вимоги міської прокуратури.

Гра в кішки-мишки на виявлення

Проблема контролю за цими додатками ускладнюється їхньою тактикою, що розвивається. Wired повідомила, що дослідники нещодавно попередили, що деякі шкідливі програми стали краще уникати видалення з магазину додатків, рекламуючи лише функції заміни обличчя, приховуючи свої можливості оголення. У травневому препринтному документі дослідники ідентифікували 420 додатків, які продаються як універсальні інструменти для зміни обличчя, і протестували 155 із них. У понад 70 відсотках випадків додатки можуть використовуватися для сексуалізації зображень, демонструючи, як легко шкідливі функції ховаються за нешкідливим маркетингом.

Ця прогалина у виявленні означає, що навіть коли магазини додатків активно шукають інструменти для оголення, багато з них прослизають, представляючи себе як нешкідливі розваги чи програми для редагування фотографій. Висновки дослідників свідчать про те, що справжня кількість проблемних додатків в обігу, швидше за все, набагато перевищує тринадцять, позначені офісом Чіу.

Прецедент Грока

Придушення програм nudify також перетинається з ширшими дебатами щодо шкідливого контенту, створеного ШІ. Цього тижня xAI подав позов, підтверджуючи, що він виявив випадки створених Grok матеріалів про сексуальне насильство над дітьми та інтимних зображень без згоди, націлених на дорослих. Щоб усунути зловживання, xAI подав до суду на користувача, який нібито відповідальний за спонукання Grok створити незаконний вміст.

Справа Grok піднімає більш гостре питання для магазинів додатків: чи слід видаляти чат-боти штучного інтелекту, які можуть створювати незаконний контент. Повідомляється, що Apple повідомила сенаторам у квітні, що вона приватно погрожувала видалити Grok з App Store, згідно з NBC News, але додаток xAI залишається доступним і сьогодні. Поки можна використовувати Grok для створення незаконного контенту, магазини додатків, ймовірно, продовжуватимуть стикатися з тиском, щоб вжити заходів, так само, як Чіу вимагав для автономних додатків для оголення.

Поворотний момент для підзвітності платформи

Указ Сан-Франциско є одним із найагресивніших державних втручань на сьогоднішній день, спрямованих на магазини додатків через шкідливий контент, створений ШІ. Посилаючись на каліфорнійські закони про глибоку фейкову порнографію, Чіу перевіряє, чи можуть закони штатів змусити операторів платформ взяти на себе відповідальність за інструменти штучного інтелекту, які розповсюджуються на їхніх ринках.

Результат може стати прецедентом для того, як інші юрисдикції підходять до проблеми, і чи ляже тягар контролю за неконсенсусними зображеннями, створеними ШІ, на розробників, операторів платформ або на обох. Для мільйонів людей, переважно жінок і дівчат, на яких ці інструменти націлені, ставки виходять далеко за межі нормативної теорії.

Будьте попереду ШІ

Щоб постійно висвітлювати етику штучного інтелекту, підзвітність платформи та регуляторні баталії щодо шкідливих синтетичних носіїв, слідкуйте за AI Buzz Wire, щоб повідомити про проблеми, що впливають на вплив ШІ на суспільство.

Читати більше новин про етику ШІ →