Rep. Ro Khanna, en Silicon Valley-demokrat, kommer att införa lagstiftning som skulle förbjuda AI-modeller som kan rekursivt förbättra sig själva tills den federala regeringen bygger ett regelsystem som kan övervaka dem – det mest genomgripande AI-säkerhetsförslaget som hittills landat i kongressen.

Lagförslaget, kallat Human Control Over AI Act, delades exklusivt med CNBC i sammanfattande form inför introduktionen. Det anländer mitt i eskalerande säkerhetsproblem som redan har fått VD:arna för OpenAI och Anthropic att uppmana till att bromsa utvecklingen av gränsmodeller. For more context on this story, see our ongoing AI industry coverage.

"Det finns faktiskt en civilisationsrisk för utrotning", sa Khanna på måndagen i en intervju med CNBC. "Det finns en säkerhetsrisk för förlust av kontroll, och då finns det en risk för missbruk, och vi måste ta båda på allvar."

Vad lagförslaget skulle förbjuda

I sin kärna skulle Human Control Over AI Act förbjuda AI-modeller som rekursivt självförbättrar eller autonomt modifierar sina egna kärnmål, inneslutningsmekanismer eller avstängningskontroller - såvida det inte finns federala skyddsräcken och en ny statlig myndighet godkänner aktiviteterna.

Rent praktiskt inriktar det sig på den förmåga som säkerhetsforskare fruktar mest: system som kan designa om sig själva i en självstyrd cykel, vilket lämnar människor med minskande tillsyn vid varje steg. Förbudet skulle finnas kvar tills tillsynsmyndigheterna är utrustade för att utvärdera riskerna.

En ny federal byrå för Frontier AI

Lagförslaget skulle skapa en dedikerad federal byrå fokuserad på de mest kraftfulla AI-modellerna – de som utvecklats av OpenAI, Anthropic, Google DeepMind och xAI – eftersom dessa företag befinner sig under hårdare granskning.

Enligt sammanfattningen som delas med CNBC skulle byrån ansvara för:

  • Skriva säkerhetsföreskrifter för frontier AI-system
  • Drift av ett licenssystem för att godkänna modellutbildning och implementering
  • Genomföra revisioner av frontier AI-modeller
  • Sätta säkerhetsstandarder för kontinuerlig testning och effektiv mänsklig kontroll

Oberoende revisorer skulle vara inbäddade i varje gränslaboratorium och skulle rapportera direkt till byrån - en strukturell kontroll utformad för att säkerställa att laboratorier inte bara kan markera sina egna läxor. Byrån skulle också sätta standarder som täcker testmiljöer för sandlådor, luftgap som isolerar testsystem från internet, döda switchar och kontroller som förhindrar modeller från att fly labbinställningar och roaming på det öppna internet.

Lagstiftningen skulle särskilt utvidga den federala tillsynen till de avancerade chips som frontier labs använder, inklusive mekanismer för att övervaka eller kontrollera hur dessa processorer distribueras.

Brottspåföljder och obligatorisk försäkring

Lagförslaget går längre än något tidigare förslag om påföljder. Den skulle kriminalisera vad den definierar som "brott mot mänskligheten" för utplacering av AI-modeller som resulterar i förstörelse av civilbefolkningar.

Anställda i AI-företag skulle drabbas av straffrättsliga påföljder för att inaktivera skyddsåtgärder, avbryta brytare, loggning eller inneslutningssystem - eller för att medvetet distribuera ett obehörigt system. AI-företag skulle också behöva ha omfattande ansvarsförsäkringar innan de släpper sina modeller, vilket flyttar den ekonomiska risken för misslyckande till branschen snarare än allmänheten.

På den geopolitiska fronten uppmanar lagförslaget administrationen att eftersträva verkställbara avtal och riktade exportkontroller utformade för att avskräcka Kina och andra motståndare från att utveckla farliga AI-system.

Byggd med säkerhetsgemenskapen, inte labben

Khanna var tydlig om vems input formade räkningen. I stället för att förhandla med cheferna för de företag som den skulle reglera, sa han att lagstiftningen var utformad på konversationer med AI-säkerhetsorganisationer, inklusive de oberoende ideella organisationerna Model Evaluation and Threat Research, Machine Intelligence Research Institute och Palisade Research.

"Jag vill att det här ska vara en modell för att ge röst åt AI-säkerhetsgemenskapen," sa Khanna till CNBC. "Jag anser att de orättvist har avfärdats som science fiction och inte tagits på tillräckligt stort allvar. De måste driva den här debatten, AI-säkerhetsgemenskapen, inte cheferna för frontier labs."

Khanna beskrev åtgärden som den mest omfattande AI-säkerhetslagstiftningen som hittills föreslagits.

Långa odds i en delad kongress

Human Control Over AI Act ansluter sig till ett myllrande fält av AI-säkerhetsförslag på Capitol Hill. Bland dem finns den tvåpartiska FRONTIER Act från reps. Jay Obernolte, en republikan från Kalifornien, och Lori Trahan, en Massachusetts-demokrat, som skulle placera oberoende revisorer i gränslaboratorier och ge regeringen befogenhet att stänga av modeller som bedöms utgöra en katastrofal risk. Ett separat Sanders-Casar-förslag om att förbjuda artificiell superintelligens har fått offentligt stöd från tio husdemokrater, inklusive Khanna själv.

Den politiska verkligheten är dock nykter. Inga husräkningar förväntas få omröstning förrän efter mellanårsvalet, och senaten förväntas lämna Washington och inte återvända förrän efter att väljarna gått till valurnorna.

Den tidslinjen innebär att Human Control Over AI Act kommer att fungera, åtminstone för nu, som en markör: en detaljerad ritning av vad AI-säkerhetsgemenskapen skulle bygga om den höll i pennan – introducerad i exakt samma ögonblick som människorna som bygger frontier AI varnar för att tekniken går ur sina kontroller.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →