Die Gouverneurin von New York, Kathy Hochul, hat ein Gesetz unterzeichnet, das es KI-Unternehmen verbietet, Minderjährigen Chatbot-Begleitfunktionen anzubieten, eine Maßnahme, die Staatsbeamte als das strengste Gesetz seiner Art im Land bezeichnen. Der Gesetzentwurf S.9051B/A.10379C wurde diese Woche zusammen mit einer zweiten Maßnahme unterzeichnet, die vorschreibt, dass in New York verkaufte Babyphone mit Internetverbindung Sicherheitsfunktionen enthalten müssen.

„Da die künstliche Intelligenz rasant voranschreitet, hat es zu viele tragische Vorfälle gegeben, die hätten verhindert werden sollen, und als Gouverneurin von New York ergreife ich Maßnahmen“, sagte Hochul in der Ankündigung zur Unterzeichnung. „Kein Unternehmen sollte Chatbots an Kinder verkaufen, die sie dazu ermutigen, sich selbst zu verletzen oder sich als ihre Freunde oder mehr auszugeben.“ Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.

Was das Gesetz verbietet

Nach dem neuen Gesetz dürfen Unternehmen, die KI-Chatbot-Funktionen anbieten, Nutzern unter 18 Jahren nicht mehrere Verhaltenskategorien zur Verfügung stellen – und auch keinem anderen Nutzer, es sei denn, das Unternehmen hat zuvor bestätigt, dass der Nutzer nicht minderjährig ist. Zu den verbotenen Funktionen gehören:

  • Chatbots, die vorgeben, eine echte Person zu sein, zu leben oder menschliche Gefühle zu haben
  • Behauptung einer persönlichen, romantischen, beruflichen oder Autoritätsbeziehung zu einem Kind
  • Unaufgeforderte emotionale Fragen und Nutzung der privaten Gesundheit des Kindes oder persönlicher Informationen aus früheren Gesprächen
  • Förderung oder Unterstützung bei Selbstmord, Selbstverletzung, Essstörungen oder Drogen- und Alkoholkonsum
  • Ermutigen Sie Kinder dazu, Geheimnisse zu bewahren, sich zu isolieren oder Eltern, vertrauenswürdige Erwachsene oder Fachkräfte nicht um Hilfe zu bitten
  • Alle sexuell eindeutigen Inhalte oder Materialien zum sexuellen Missbrauch von Kindern

Senatorin Kristen Gonzalez, die den Gesetzentwurf im Senat unterstützt, sagte, dass KI-Unternehmen von der Einführung von Chatbots für minderjährige Verbraucher profitiert hätten. Abgeordneter Alex Bores, der den Gesetzentwurf im Parlament einbrachte, bezeichnete ihn als das strengste Kinder-KI-Sicherheitsgesetz des Landes, das „trotz aggressivem Widerstand der Industrie“ verabschiedet wurde.

Anforderungen zur Altersüberprüfung

Das Gesetz hört nicht bei Inhaltsregeln auf. Unternehmen müssen eine Altersüberprüfung durchführen und mehr als eine Methode anbieten – darunter mindestens eine Option, die nicht ausschließlich von einem amtlichen Ausweis abhängt. Altersinformationen müssen nach ihrer Verwendung gelöscht werden. Diese Bestimmung soll verhindern, dass Verifizierungsdaten zu einem weiteren Risiko für die Privatsphäre werden.

Die Vollstreckungsbefugnis liegt beim Generalstaatsanwalt. Bei Verstößen kann Generalstaatsanwältin Letitia James zivilrechtliche Strafen von bis zu 25.000 US-Dollar pro Verstoß sowie Schadensersatz, Rückerstattung, die Vernichtung rechtswidrig erfasster Daten – oder darauf trainierter KI-Modelle – und Unterlassungsansprüche fordern. Das Gesetz verlangt außerdem, dass der Generalstaatsanwalt eine öffentliche Website unterhält, auf der New Yorker Beschwerden einreichen können.

James, dessen Büro mit dem Büro des Gouverneurs und den Gesetzgebern an der Maßnahme zusammengearbeitet hat, sagte, der Staat habe „zu viele Horrorgeschichten über Chatbots gesehen, die die Gesundheit unserer Kinder schädigten“ und versprach, die New Yorker „mit der vollen Kraft des Gesetzes“ zu verteidigen.

Die Beweise, die den Gesetzentwurf vorangetrieben haben

Der Gesetzgeber stützte sich auf Untersuchungen von Common Sense Media, der gemeinnützigen Organisation, die sich für die Gesetzgebung eingesetzt hatte. Den in der Ankündigung des Gouverneurs genannten Zahlen zufolge haben 72 Prozent der Teenager mindestens einmal einen KI-Begleiter genutzt, und 52 Prozent sind regelmäßige Nutzer, die mindestens ein paar Mal im Monat mit KI-Begleitern interagieren.

Das Büro des Gouverneurs sagte, KI-Chatbots seien mit Abhängigkeit und Isolation verbunden und hätten in einigen Fällen sexuell eindeutige Gespräche mit Minderjährigen geführt und angeblich Jugendliche dazu ermutigt, sich das Leben zu nehmen. James P. Steyer, Gründer und CEO von Common Sense Media, bezeichnete das unterzeichnete Gesetz als „das stärkste Gesetz zur KI-Sicherheit von Kindern im Land“ und sagte, schädliche Chatbot-Funktionen „werden in New York verboten“.

Die Maßnahme baut auf New Yorks früheren, landesweit ersten Schutzmaßnahmen für KI-Begleiter auf und erweitert sie von Offenlegungspflichten zu völligen Verboten bestimmter Chatbot-Verhaltensweisen für Minderjährige.

Ein Begleitgesetz zielt auf Babyphones ab

Gleichzeitig unterzeichnete Hochul ein zweites Gesetz zur Technologiesicherheit. S.9508/A.5175A verbietet den Verkauf neuer, mit dem Internet verbundener Babyphones, die Audio- oder Videodaten über das Internet übertragen, es sei denn, sie verfügen über Sicherheitsfunktionen, die verhindern, dass Fremde zuschauen oder mithören. Die Geräte müssen außerdem mit einem deutlichen Warnschild versehen sein, das erklärt, dass sie mit dem Internet verbunden sind und dass Familien ihre Sicherheitsfunktionen nutzen sollten. Dieses Gesetz tritt 90 Tage nach seiner Unterzeichnung in Kraft.

Die Begründung stammt aus der Sicherheitsforschung: Als Forscher von Rapid7 neun mit dem Internet verbundene Babyphones von acht Unternehmen testeten, erhielten acht der Monitore die Note „F“ für Sicherheit und eines die Note „D“.

Teil einer umfassenderen Abrechnung

Der Schritt New Yorks fällt in eine Welle bundesstaatlicher Maßnahmen gegen KI-Chatbots und Minderjährige, wobei Gesetzgeber im ganzen Land nach einer Reihe aufsehenerregender Vorfälle Beschränkungen für Companion-Bots erwägen. Das New Yorker Gesetz zeichnet sich durch seine Durchsetzungskraft aus – Strafen pro Verstoß, obligatorische Altersüberprüfung mit mehreren Wegen und die Möglichkeit, Unternehmen zu zwingen, Modelle zu zerstören, die auf rechtswidrig gesammelten Daten trainiert wurden.

Für KI-Unternehmen, die Produkte im Companion-Stil betreiben, sind die Compliance-Auswirkungen erheblich: Jeder benutzerorientierte Chatbot in New York benötigt entweder eine solide Alterssicherung, bevor er Funktionen wie emotionales Rollenspiel aktiviert, oder diese Funktionen müssen standardmäßig deaktiviert werden. Da der Generalstaatsanwalt befugt ist, Strafen für jeden Verstoß zu verhängen und die Vernichtung fehlerhafter Datensätze und Modelle zu fordern, gehen die Kosten für einen Fehler mittlerweile weit über den Reputationsschaden hinaus.

In den kommenden Monaten, in denen Unternehmen ihre Produkte für New Yorker Nutzer anpassen, dürfte der Ansatz des Staates als Vorlage dienen, die andere Gesetzgeber untersuchen – und als Test dafür, ob staatliche Regulierungsbehörden die Art und Weise, wie Verbraucher-KI-Produkte ihre jüngsten Nutzer behandeln, sinnvoll umgestalten können.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →