Zástupce města San Francisca nařídil Applu a Googlu, aby odstranily aplikace pro nudifikaci umělé inteligence ze svých obchodů s aplikacemi, přičemž varoval, že platformy porušují kalifornské zákony zakazující služby vytvářející hluboce falešnou pornografii. Poptávka eskaluje rostoucí konfrontaci s nástroji AI, které přeměňují běžné fotografie skutečných lidí na explicitní obrázky, což je krize, která neúměrně viktimizuje ženy a děti.

Rozsah problému

Aplikace Nudification využívají generativní AI, aby bylo triviálně snadné svléknout oblečení z fotografií skutečných lidí, změnit jejich rysy, umístit je do sexualizovaných pozic a vyměnit obličeje za nahá těla jiných lidí. Tato technologie se v obchodech s mobilními aplikacemi rychle rozšířila a výsledky jsou využívány k šikanování, ponižování a vyhrožování obětí s ničivými následky.

Státní zástupce města San Francisco David Chiu pro Wired řekl, že jeho kancelář byla naprosto zděšena tím, jak všudypřítomná se technologie nudifikace stala obětí převážně žen a dětí v alarmujícím měřítku, protože trh zaplavilo více nástrojů. Snímky se podle něj používají ke zničení reputace, poškození duševního zdraví a zbavení obětí autonomie, přičemž některé cíle se stávají sebevražednými.

Co dopisy požadují

Chiuova kancelář zaslala oběma společnostem formální dopisy s varováním, že jejich obchody s aplikacemi porušují kalifornské zákony, které zakazují podpůrné služby vytvářející hluboce falešnou pornografii, uvádí Wired. Požádal Google, aby odstranil pět aplikací a Apple, aby odstranil osm. Konkrétní aplikace nebyly ve veřejných zprávách pojmenovány, aby se k nim lidé nedostali, ale Wired poznamenal, že jedna označená aplikace nashromáždila více než milion stažení a otevřeně inzerovala funkce pro sexualizaci obrázků žen nebo produkování bezplatných a necenzurovaných videí.

Kancelář Chiu odhaduje, že Apple a Google pravděpodobně vydělaly miliony dolarů na poplatcích tím, že umožnily škodlivým aplikacím zůstat v jejich obchodech, místo aby podnikly důraznější kroky nebo vyvíjely lepší detekční systémy. Zástupce města charakterizoval situaci jako zisk z veřejného obtěžování a tvrdil, že umožnit, aby takové aplikace zůstaly dostupné, je nepřijatelné.

Google odpovídá, Apple mlčí

V prohlášení pro Ars Technica mluvčí Google Dan Jackson potvrdil, že pět aplikací označených Chiu bylo pozastaveno z obchodu Google Play kvůli porušení zásad proti škodlivému obsahu. Jackson uvedl, že Google Play nepovoluje aplikace, které obsahují sexuální obsah, a že společnost neustále podniká proaktivní kroky k detekci a odstranění aplikací se škodlivým obsahem. Když jsou nahlášena porušení, řekl Jackson, Google to prošetří a podnikne rychlé kroky, které zahrnují pozastavení stovek porušujících aplikací a omezení souvisejících vyhledávacích dotazů, jako je nudify, ve svém obchodě.

Reakce Applu byla výrazně odlišná. I když společnost v minulosti odstranila některé aplikace označené výzkumníky, jinak zůstala pozoruhodně zticha, když ve svém App Store agresivněji volala policejní aplikace pro nudifikaci. Výrobce iPhonu okamžitě neposkytl podrobnou veřejnou odpověď na požadavky městského právníka.

Hra na detekci kočky a myši

Náročnost kontroly těchto aplikací je umocněna jejich vyvíjející se taktikou. Společnost Wired uvedla, že výzkumníci nedávno varovali, že některé škodlivé aplikace se zlepšily ve vyhýbání se odstraňování z obchodu s aplikacemi tím, že inzerují pouze funkce pro výměnu obličeje a zároveň skrývají své schopnosti nudit. V květnovém předtištěném papíru výzkumníci identifikovali 420 aplikací uváděných na trh jako generické nástroje pro výměnu obličejů a testovali 155 z nich. Ve více než 70 procentech případů mohly být aplikace použity k sexualizaci obrázků, což ukazuje, jak snadno se škodlivé funkce skrývají za neškodný marketing.

Tato mezera v detekci znamená, že i když obchody s aplikacemi proaktivně vyhledávají nástroje nudify, mnohé proklouznou tím, že se prezentují jako neškodný software pro zábavu nebo úpravu fotografií. Zjištění výzkumníků naznačují, že skutečný počet problematických aplikací v oběhu je pravděpodobně mnohem vyšší než třináct, které označila kancelář Chiu.

Grok precedens

Zásah proti aplikaci nudify se také protíná s širší debatou o škodlivém obsahu generovaném umělou inteligencí. Tento týden společnost xAI podala žalobu, která potvrdila, že nalezla případy materiálů pro sexuální zneužívání dětí generovaných Grokem a nekonsensuálních intimních snímků zaměřených na dospělé. Aby se vyřešila zneužití, xAI zažalovala uživatele údajně zodpovědného za to, že přiměl Groka ke generování nelegálního obsahu.

Případ Grok vyvolává pro obchody s aplikacemi ožehavější otázku: zda by měli být sami odstraněni chatboti s umělou inteligencí, kteří mohou být vyzváni k produkci nelegálního obsahu. Apple údajně v dubnu senátorům řekl, že soukromě pohrozil odstraněním Groka z App Store, podle NBC News, ale aplikace xAI je dnes k dispozici. Dokud bude možné používat Grok ke generování nelegálního obsahu, obchody s aplikacemi budou pravděpodobně i nadále čelit tlaku, aby přijaly opatření, stejně jako Chiu požadovala samostatné aplikace pro nudifikaci.

Bod obratu pro odpovědnost platformy

Objednávka ze San Francisca představuje jeden z nejagresivnějších vládních zásahů, které se doposud zaměřovaly na obchody s aplikacemi kvůli škodlivému obsahu generovanému umělou inteligencí. Použitím kalifornských zákonů o hluboce falešné pornografii Chiu testuje, zda státní zákony mohou donutit provozovatele platforem k převzetí odpovědnosti za nástroje umělé inteligence distribuované prostřednictvím jejich tržišť.

Výsledek by mohl vytvořit precedens pro to, jak k problému přistupují jiné jurisdikce a zda břemeno dohledu nad nekonsensuálními snímky generovanými umělou inteligencí dopadá na vývojáře, provozovatele platforem nebo na oba. Pro miliony lidí, převážně žen a dívek, na které se tyto nástroje zaměřují, jde daleko za regulační teorii.

Udržujte si náskok před AI

Pro průběžné pokrytí etiky umělé inteligence, odpovědnosti platforem a regulačních bitev ohledně škodlivých syntetických médií sledujte AI Buzz Wire, kde najdete zprávy o problémech, které ovlivňují dopad umělé inteligence na společnost.

Přečtěte si další zprávy o etice AI →