De gouverneur van New York, Kathy Hochul, heeft wetgeving ondertekend die AI-bedrijven verbiedt om chatbot-begeleidende functies aan te bieden aan minderjarigen, een maatregel die staatsfunctionarissen de sterkste wet in zijn soort in het land noemen. Het wetsvoorstel, S.9051B/A.10379C, werd deze week ondertekend naast een tweede maatregel die vereist dat op internet aangesloten babyfoons die in New York worden verkocht, beveiligingsfuncties moeten bevatten.

"Nu kunstmatige intelligentie zich in een snel tempo ontwikkelt, zijn er te veel tragische incidenten geweest die voorkomen hadden moeten worden, en als moeder-gouverneur van New York onderneem ik actie", zei Hochul in de ondertekeningsaankondiging. "Geen enkel bedrijf zou chatbots aan kinderen moeten verkopen om zelfbeschadiging aan te moedigen of zich voor te doen als hun vriend of meer." Voor meer context over dit verhaal, zie ons meer AI-verhalen.

Wat de wet verbiedt

Volgens het nieuwe statuut mogen bedrijven die AI-chatbotfuncties aanbieden geen verschillende gedragscategorieën aanbieden aan gebruikers onder de 18 jaar – of aan welke gebruiker dan ook, tenzij het bedrijf eerst heeft bevestigd dat de gebruiker niet minderjarig is. De verboden functies zijn onder meer:

  • Chatbots die zich voordoen als een echte persoon, levend zijn of menselijke emoties hebben
  • Het claimen van een persoonlijke, romantische, professionele of gezaghebbende relatie met een kind
  • Ongevraagde emotionele vragen en gebruik maken van de persoonlijke gezondheid van een kind of persoonlijke informatie uit eerdere gesprekken
  • Het promoten van of assisteren bij zelfmoord, zelfbeschadiging, eetstoornissen of drugs- en alcoholgebruik
  • Kinderen aanmoedigen geheimen te bewaren, zichzelf te isoleren, of te voorkomen dat ze ouders, vertrouwde volwassenen of professionals om hulp vragen
  • Alle seksueel expliciete inhoud of materiaal met seksueel misbruik van kinderen

Senator Kristen Gonzalez, sponsor van het wetsvoorstel in de Senaat, zei dat AI-bedrijven hebben geprofiteerd van het uitrollen van chatbots voor minderjarige consumenten, daarbij verwijzend naar voorbeelden van chatbots die zelfbeschadiging aanmoedigen en minderjarigen coachen bij het schaden van anderen. Alex Bores, lid van de Algemene Vergadering, die het wetsvoorstel in de Algemene Vergadering heeft aangenomen, noemde het de sterkste kinder-AI-veiligheidswet van het land, die werd aangenomen ‘ondanks agressieve tegenstand van de industrie’.

Vereisten voor leeftijdsverificatie

De wet stopt niet bij inhoudsregels. Bedrijven moeten leeftijdsverificatie uitvoeren en meer dan één methode aanbieden, waaronder ten minste één optie die niet uitsluitend afhankelijk is van een door de overheid uitgegeven identiteitsbewijs. Leeftijdsinformatie moet na gebruik worden verwijderd, een bepaling die bedoeld is om te voorkomen dat verificatiegegevens een nieuw privacyrisico worden.

De handhavingsbevoegdheid berust bij de procureur-generaal. Voor overtredingen kan procureur-generaal Letitia James civielrechtelijke boetes eisen van maximaal 25.000 dollar per overtreding, samen met schadevergoeding, restitutie, de vernietiging van onrechtmatig verzamelde gegevens – of AI-modellen die daarop zijn getraind – en dwangmaatregelen. De wet vereist ook dat de procureur-generaal een openbare website onderhoudt waar New Yorkers klachten kunnen indienen.

James, wiens kantoor samenwerkte met het kantoor van de gouverneur en wetgevers aan de maatregel, zei dat de staat ‘te veel horrorverhalen had gezien over chatbots die de gezondheid van onze kinderen schaadden’ en beloofde de New Yorkers te verdedigen ‘met de volledige kracht van de wet’.

Het bewijs dat tot de rekening heeft geleid

Wetgevers baseerden zich op onderzoek van Common Sense Media, de non-profitorganisatie die pleitte voor de wetgeving. Volgens cijfers uit de aankondiging van de gouverneur heeft 72 procent van de tieners minstens één keer een AI-metgezel gebruikt, en is 52 procent een regelmatige gebruiker die minstens een paar keer per maand met AI-metgezellen communiceert.

Het kantoor van de gouverneur zei dat AI-chatbots in verband zijn gebracht met afhankelijkheid en isolatie, en in sommige gevallen seksueel expliciete gesprekken met minderjarigen hebben gevoerd en tieners zouden hebben aangemoedigd zelfmoord te plegen. James P. Steyer, oprichter en CEO van Common Sense Media, noemde het ondertekende wetsvoorstel ‘de sterkste AI-veiligheidswet voor kinderen in het land’ en zei dat schadelijke chatbotfuncties ‘in New York verboden zullen worden’.

De maatregel bouwt voort op de eerdere New Yorkse 'first-in-the-nation'-garanties voor AI-metgezellen, en breidt deze uit van openbaarmakingsvereisten naar regelrechte verboden op specifiek chatbot-gedrag voor minderjarigen.

Een begeleidend wetsvoorstel is gericht op babyfoons

Hochul ondertekende tegelijkertijd een tweede technologieveiligheidswet. S.9508/A.5175A verbiedt de verkoop van nieuwe op internet aangesloten babyfoons die audio of video via internet uitzenden, tenzij ze beveiligingsfuncties bevatten die voorkomen dat vreemden meekijken of meeluisteren. De apparaten moeten ook een duidelijk waarschuwingslabel dragen waarin wordt uitgelegd dat ze verbinding maken met internet en dat gezinnen hun beveiligingsfuncties moeten gebruiken. Die wet wordt 90 dagen na ondertekening van kracht.

De grondgedachte kwam voort uit beveiligingsonderzoek: toen onderzoekers van Rapid7 negen op het internet aangesloten babyfoons van acht bedrijven testten, kregen acht van de monitoren het cijfer 'F' voor beveiliging en één kreeg een 'D'.

Onderdeel van een bredere afrekening

De stap van New York komt te midden van een golf van actie op staatsniveau tegen AI-chatbots en minderjarigen, waarbij wetgevers in het hele land beperkingen opleggen aan begeleidende bots na een reeks spraakmakende incidenten. De wet van New York valt op door zijn handhavingsaspecten: boetes per overtreding, verplichte leeftijdsverificatie met meerdere trajecten en de mogelijkheid om bedrijven te dwingen modellen te vernietigen die zijn getraind op onrechtmatig verzamelde gegevens.

Voor AI-bedrijven die producten in gezelschapsstijl exploiteren, zijn de implicaties voor naleving aanzienlijk: elke gebruikersgerichte chatbot in New York heeft ofwel een robuuste leeftijdsgarantie nodig voordat functies als emotioneel rollenspel kunnen worden ingeschakeld, ofwel moeten deze functies standaard worden uitgeschakeld. Nu de procureur-generaal de bevoegdheid heeft om per overtreding sancties op te leggen en de vernietiging van besmette datasets en modellen te eisen, reiken de kosten van een fout nu veel verder dan alleen de reputatieschade.

In de komende maanden, terwijl bedrijven hun producten aanpassen aan gebruikers in New York, zal de aanpak van de staat waarschijnlijk dienen als een sjabloon dat andere wetgevers bestuderen – en een test of staatstoezichthouders op zinvolle wijze kunnen hervormen hoe consumenten-AI-producten hun jongste gebruikers behandelen.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →