San Francisco befiehlt Apple und Google, AI-Nudify-Apps unter Berufung auf Deepfake-Pornografie-Gesetze zu entfernen

Der Staatsanwalt von San Francisco hat Apple und Google angewiesen, Apps zur Nacktdarstellung mit künstlicher Intelligenz aus ihren App-Stores zu entfernen, und warnt davor, dass die Plattformen gegen kalifornische Gesetze verstoßen, die Dienste verbieten, die Deepfake-Pornografie erstellen. Die Nachfrage eskaliert eine wachsende Konfrontation über KI-Tools, die gewöhnliche Fotos von echten Menschen in eindeutige Bilder umwandeln, eine Krise, die Frauen und Kinder überproportional stark zum Opfer fällt.

Das Ausmaß des Problems

Nacktifizierungs-Apps nutzen generative KI, um es ganz einfach zu machen, Fotos von echten Menschen von der Kleidung zu befreien, ihre Gesichtszüge zu ändern, sie in sexualisierte Positionen zu bringen und Gesichter auf den nackten Körpern anderer Menschen auszutauschen. Die Technologie hat sich in mobilen App-Stores rasant verbreitet und die Ergebnisse werden dazu genutzt, Opfer zu schikanieren, zu demütigen und zu bedrohen, mit verheerenden Folgen.

Der Staatsanwalt von San Francisco, David Chiu, sagte gegenüber Wired, sein Büro sei absolut entsetzt darüber, wie allgegenwärtig die Nacktheitstechnologie geworden sei und vor allem Frauen und Kinder in alarmierendem Ausmaß zum Opfer gefallen seien, da immer mehr Tools den Markt überschwemmten. Er sagte, die Bilder würden verwendet, um den Ruf zu zerstören, die psychische Gesundheit zu schädigen und den Opfern ihre Autonomie zu entziehen, wobei einige Ziele selbstmörderisch würden.

Was die Briefe verlangen

Laut Wired schickte Chius Büro formelle Briefe an beide Unternehmen, in denen er warnte, dass ihre App-Stores gegen die kalifornischen Gesetze verstoßen, die die Unterstützung von Diensten verbieten, die Deepfake-Pornografie erzeugen. Er forderte Google auf, fünf Apps zu entfernen, und Apple, acht zu entfernen. Die konkreten Apps wurden in der öffentlichen Berichterstattung nicht namentlich genannt, um zu verhindern, dass Menschen zu ihnen tendieren. Wired wies jedoch darauf hin, dass eine gemeldete App mehr als eine Million Downloads verzeichnete und offen für Funktionen zur Sexualisierung von Frauenbildern oder zur Produktion kostenloser und unzensierter Videos geworben hatte.

Chius Büro schätzte, dass Apple und Google wahrscheinlich Gebühren in Millionenhöhe eingenommen haben, indem sie die schädlichen Apps in ihren Stores belassen, anstatt strengere Maßnahmen zu ergreifen oder bessere Erkennungssysteme zu entwickeln. Der Staatsanwalt bezeichnete die Situation als Profit aus einem öffentlichen Ärgernis und argumentierte, dass es inakzeptabel sei, zuzulassen, dass solche Apps verfügbar bleiben.

Google antwortet, Apple schweigt

In einer Erklärung gegenüber Ars Technica bestätigte Google-Sprecher Dan Jackson, dass die fünf von Chiu gemeldeten Apps wegen Verstoßes gegen Richtlinien gegen schädliche Inhalte aus dem Google Play Store gesperrt wurden. Jackson sagte, Google Play erlaube keine Apps mit sexuellen Inhalten und das Unternehmen unternehme kontinuierlich proaktive Schritte, um Apps mit schädlichen Inhalten zu erkennen und zu entfernen. Wenn Verstöße gemeldet werden, führt Google Untersuchungen durch und ergreift schnell Maßnahmen, so Jackson. Dazu gehört die Sperrung Hunderter verletzender Apps und die Einschränkung verwandter Suchbegriffe wie „nudify“ in seinem Store.

Die Reaktion von Apple war deutlich anders. Während das Unternehmen in der Vergangenheit einige von Forschern gemeldete Apps entfernt hat, blieb es ansonsten bemerkenswert still angesichts der Forderungen nach einer aggressiveren polizeilichen Nacktmachung von Apps in seinem App Store. Der iPhone-Hersteller gab nicht sofort eine detaillierte öffentliche Antwort auf die Forderungen des Stadtstaatsanwalts.

Das Katz-und-Maus-Erkennungsspiel

Die Herausforderung bei der Überwachung dieser Apps wird durch die Weiterentwicklung ihrer Taktiken noch verschärft. Wired berichtete, dass Forscher kürzlich davor gewarnt haben, dass einige schädliche Apps die Entfernung aus dem App Store besser umgehen können, indem sie nur Face-Swapping-Funktionen bewerben und gleichzeitig ihre Nacktheitsfunktionen verbergen. In einem Preprint-Artikel vom Mai identifizierten Forscher 420 Apps, die als generische Face-Swapping-Tools vermarktet wurden, und testeten 155 davon. In über 70 Prozent der Fälle könnten die Apps zur Sexualisierung von Bildern genutzt werden, was zeigt, wie leicht sich schädliche Funktionen hinter harmlosem Marketing verbergen.

Diese Erkennungslücke führt dazu, dass selbst wenn App-Stores proaktiv nach Nudify-Tools suchen, viele durchschlüpfen, indem sie sich als harmlose Unterhaltungs- oder Fotobearbeitungssoftware präsentieren. Die Ergebnisse der Forscher deuten darauf hin, dass die tatsächliche Zahl der im Umlauf befindlichen problematischen Apps wahrscheinlich weitaus höher ist als die von Chius Büro gemeldeten dreizehn.

Der Grok-Präzedenzfall

Das Vorgehen gegen die Nudify-App überschneidet sich auch mit einer breiteren Debatte über KI-generierte schädliche Inhalte. Diese Woche reichte xAI eine Klage ein, in der bestätigt wurde, dass es Fälle von von Grok erstelltem Material über sexuellen Missbrauch von Kindern und nicht einvernehmlichen intimen Bildern gefunden hatte, die sich an Erwachsene richteten. Um dem Missbrauch entgegenzuwirken, verklagte xAI den Benutzer, der angeblich dafür verantwortlich war, Grok zur Generierung illegaler Inhalte veranlasst zu haben.

Der Fall Grok wirft für App-Stores eine heiklere Frage auf: ob KI-Chatbots, die dazu veranlasst werden können, illegale Inhalte zu produzieren, selbst entfernt werden sollten. Laut NBC News teilte Apple Berichten zufolge den Senatoren im April mit, dass es privat damit gedroht habe, Grok aus dem App Store zu entfernen, die xAI-App sei jedoch noch heute verfügbar. Solange es möglich ist, Grok zur Generierung illegaler Inhalte zu nutzen, werden App-Stores wahrscheinlich weiterhin unter Handlungsdruck stehen, so wie es Chiu für eigenständige Nacktheits-Apps gefordert hat.

Ein Wendepunkt für die Plattformverantwortung

Die Anordnung von San Francisco stellt eine der bisher aggressivsten staatlichen Interventionen dar, die App-Stores wegen KI-generierter schädlicher Inhalte ins Visier nehmen. Unter Berufung auf die kalifornischen Deepfake-Pornografiegesetze testet Chiu, ob staatliche Gesetze Plattformbetreiber dazu zwingen können, Verantwortung für die über ihre Marktplätze verbreiteten KI-Tools zu übernehmen.

Das Ergebnis könnte einen Präzedenzfall dafür schaffen, wie andere Gerichtsbarkeiten das Problem angehen und ob die Last der Überwachung von KI-generierten, nicht einvernehmlichen Bildern bei Entwicklern, Plattformbetreibern oder beiden liegt. Für die Millionen Menschen, vor allem Frauen und Mädchen, die von diesen Instrumenten betroffen sind, geht das Risiko weit über die Regulierungstheorie hinaus.

Bleiben Sie der KI immer einen Schritt voraus

Folgen Sie AI Buzz Wire für eine fortlaufende Berichterstattung über KI-Ethik, Plattformverantwortung und die Regulierungskämpfe um schädliche synthetische Medien, um über die Probleme zu berichten, die die Auswirkungen von KI auf die Gesellschaft bestimmen.

Weitere Neuigkeiten zur KI-Ethik lesen →