New Yorks guvernör Kathy Hochul har undertecknat en lagstiftning som förbjuder AI-företag från att erbjuda chatbot-kompanjonsfunktioner till minderåriga, en åtgärd som statliga tjänstemän kallar den starkaste lagen i sitt slag i landet. Lagförslaget, S.9051B/A.10379C, undertecknades denna vecka tillsammans med en andra åtgärd som kräver internetanslutna babyvakter som säljs i New York för att ha säkerhetsfunktioner.

"När artificiell intelligens utvecklas i snabb takt har det varit för många tragiska incidenter som borde ha förhindrats, och som New Yorks mamma guvernör, agerar jag", sa Hochul i undertecknandet. "Inget företag bör sälja chatbots till barn för att uppmuntra självskada eller låtsas vara deras vän eller mer." For more context on this story, see our ongoing AI industry coverage.

Vad lagen förbjuder

Enligt den nya stadgan får företag som erbjuder AI-chatbot-funktioner inte tillhandahålla flera kategorier av beteende till användare under 18 – eller till någon användare om inte företaget först har bekräftat att användaren inte är minderårig. De förbjudna funktionerna inkluderar:

  • Chatbots som låtsas vara en riktig person, vara vid liv eller ha mänskliga känslor
  • Att hävda en personlig, romantisk, professionell eller auktoritetsrelation med ett barn
  • Ouppfordrade känslomässiga frågor och att använda ett barns privata hälsa eller personlig information från tidigare konversationer
  • Främja eller hjälpa till med självmord, självskada, ätstörningar eller drog- och alkoholbruk
  • Uppmuntra barn att hålla hemligheter, isolera sig eller undvika att be föräldrar, betrodda vuxna eller professionella om hjälp
  • Allt sexuellt explicit innehåll eller material om sexuella övergrepp mot barn

Senator Kristen Gonzalez, lagförslagets senatssponsor, sa att AI-företag har tjänat på att rulla ut chatbots till minderåriga konsumenter, med hänvisning till fall av chatbots som uppmuntrar självskada och coachar minderåriga i att skada andra. Församlingsmedlemmen Alex Bores, som bar lagförslaget i församlingen, kallade det den starkaste AI-säkerhetslagen för barn i landet, antog "trots aggressivt motstånd från industrin."

Åldersverifieringskrav

Lagen stannar inte vid innehållsregler. Företag måste utföra åldersverifiering och erbjuda mer än en metod – inklusive minst ett alternativ som inte enbart beror på ett statligt ID. Åldersuppgifter måste raderas efter att de har använts, en bestämmelse som syftar till att förhindra att verifieringsdata blir ytterligare en integritetsrisk.

Kronofogdemyndigheten åvilar riksåklagaren. För överträdelser kan justitieminister Letitia James begära civilrättsliga påföljder på upp till $25 000 per överträdelse, tillsammans med skadestånd, återbetalning, förstörelse av olagligt insamlad data – eller andra AI-modeller som tränats på det – och föreläggande. Lagen kräver också att åklagaren ska ha en offentlig webbplats där New York-bor kan lämna in klagomål.

James, vars kontor arbetade med guvernörens kontor och lagstiftare om åtgärden, sa att staten hade sett "för många skräckhistorier om chatbots som skadar våra barns hälsa" och lovade att försvara New York-bor "med lagens fulla kraft".

Bevisen som drev räkningen

Lagstiftare lutade sig mot forskning från Common Sense Media, den ideella organisationen som förespråkade lagstiftningen. Enligt siffror som citeras i guvernörens tillkännagivande har 72 procent av tonåringarna använt en AI-kompanjon minst en gång, och 52 procent är vanliga användare som interagerar med AI-kompanjoner minst några gånger i månaden.

Guvernörens kontor sa att AI-chatbotar har kopplats till beroende och isolering, och i vissa fall har de ägnat sig åt sexuellt explicita konversationer med minderåriga och påstås uppmuntrat tonåringar att ta sitt eget liv. Common Sense Medias grundare och vd James P. Steyer kallade det undertecknade lagförslaget "den starkaste barnens AI-säkerhetsnota i landet" och sa att skadliga chatbot-funktioner "kommer att förbjudas i New York."

Åtgärden bygger på New Yorks tidigare första-i-landet AI-kompanjonsskydd, och utökar dem från avslöjandekrav till direkta förbud mot specifika chatbotbeteenden för minderåriga.

En sällskapsräkning riktar sig till babyvakter

Hochul undertecknade samtidigt ett andra lagförslag om tekniksäkerhet. S.9508/A.5175A förbjuder försäljning av nya internetanslutna babyvakter som sänder ljud eller video över internet såvida de inte innehåller säkerhetsfunktioner som hindrar främlingar från att titta eller lyssna på. Enheterna måste också bära en tydlig varningsetikett som förklarar att de ansluter till internet och att familjer bör använda sina säkerhetsfunktioner. Den lagen träder i kraft 90 dagar efter undertecknandet.

Skälet kom från säkerhetsforskning: när forskare på Rapid7 testade nio internetanslutna babymonitorer från åtta företag fick åtta av monitorerna betyget "F" för säkerhet och en fick ett "D".

Del av en bredare redovisning

New Yorks drag landar mitt i en våg av åtgärder på statlig nivå mot AI-chatbotar och minderåriga, med lagstiftande församlingar över hela landet som väger begränsningar för följeslagningsrobotar efter en rad uppmärksammade incidenter. New York-lagen är känd för sina verkställande tänder - straff per överträdelse, obligatorisk åldersverifiering med flera vägar och möjligheten att tvinga företag att förstöra modeller som tränats på olagligt insamlad data.

För AI-företag som använder produkter av följeslagare är efterlevnadsimplikationerna betydande: alla användarvända chatbotar i New York behöver antingen robust åldersförsäkran innan de aktiverar funktioner som känslomässigt rollspel, eller så måste dessa funktioner vara avstängda som standard. Med riksåklagaren bemyndigad att utkräva straff per överträdelse och att kräva förstörelse av förorenade datauppsättningar och modeller, sträcker sig kostnaden för att göra fel nu långt utöver anseendeskada.

Under de kommande månaderna, när företag anpassar sina produkter för användare i New York, kommer statens tillvägagångssätt sannolikt att fungera som en mall som andra lagstiftare studerar – och ett test av om statliga tillsynsmyndigheter på ett meningsfullt sätt kan omforma hur konsumentprodukter av AI behandlar sina yngsta användare.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →