OpenAI har föreslagit att USA ska leda utvecklingen av internationella tekniska standarder för gränsöverskridande artificiell intelligens, inklusive gemensamma tillvägagångssätt för att mäta autonom AI-forskning och bevara mänsklig tillsyn när systemen blir mer kapabla.
Förslaget, publicerat av företaget och rapporterat på måndagen av CNBC, Reuters, Politico, The Wall Street Journal och Financial Times, anländer till ett symboliskt laddat ögonblick: Axios rapporterade att det föregår vd Sam Altmans tal till FN, och Semafor karakteriserade företagets fråga som en USA-ledd global koalition om AI-säkerhet. For more context on this story, see our ongoing AI news.
Kärnfokus: Rekursiv självförbättring
Dokumentet är anmärkningsvärt för hur direkt det engagerar rekursiv självförbättring, eller RSI, scenariot där AI-system tar på sig successivt större delar av arbetet med att utveckla senare generationer av AI. Enligt en detaljerad sammanfattning av Pulse2, säger OpenAI att helt autonom rekursiv självförbättring inte förekommer idag och argumenterar för att den inte bör eftersträvas om inte utvecklare kan visa att det kan göras säkert samtidigt som man bevarar meningsfull mänsklig kontroll.
Samtidigt beskriver företaget automatiserad AI-forskning som en viktig del av sin egen tekniska färdplan. Ett uttalat mål är att bygga automatiserade AI-forskare som kan bidra till modellutveckling och anpassningsarbete medan människor förblir involverade i självförbättringsprocessen, sa företaget. OpenAI hävdar att automatisering kan påskynda vetenskapliga framsteg och stärka säkerhetsforskningen, eftersom system som kan förbättra modeller också kan användas för att utveckla bättre anpassningsmetoder, defensiva tekniker och skydd för kritisk infrastruktur.
Den centrala oro, enligt förslaget, är vad som händer när mänsklig övervakning minskar. Mer automatiserad forskning skulle kunna påskynda AI-utvecklingen till den punkt där människor har större svårigheter att förstå eller övervaka hur nya system skapas, vilket OpenAI säger är just därför som standarder bör sträcka sig bortom ett enskilt företags interna policyer.
Varför internationell samordning
OpenAI säger att avancerad AI nu utvecklas och distribueras i många länder, vilket gör rent nationella regler otillräckliga. Företaget identifierar tre problem som delade standarder skulle kunna lösa: fragmenterade utvärderings- och rapporteringssystem, problem med kollektiva åtgärder mellan länder och stora skillnader i teknisk expertis och AI-utvecklingskapacitet runt om i världen. Oron gäller både öppen vikt och slutna modeller, enligt företaget.
Viktigt är att förslaget inte kräver en enda internationell tillsynsmyndighet med behörighet att godkänna AI-modeller. Istället föreställer den gemensamma tekniska standarder som täcker kapacitetsmätning, riskbedömning och lämpligheten av skyddsåtgärder, där enskilda regeringar beslutar om och hur de ska införlivas i nationell lagstiftning.
Mekanismen: Säkerhetsinstitut och CAISI
En potentiell mekanism som skisserats av OpenAI skulle använda det växande nätverket av nationella AI-säkerhetsinstitut för att samordna teknisk standardinställning. Företaget namnger institut eller närstående organ i Australien, Kanada, Tyskland, Frankrike, Kenya, Japan, Sydkorea, Singapore, Indien och Storbritannien. I USA föreslår OpenAI att man arbetar genom Center for AI Standards and Innovation, eller CAISI, och relevanta branschorgan.
Standarderna skulle särskilt fokusera på gränsöverskridande utvecklare och modeller som överskrider specificerade kapacitetströsklar, såväl som på att hantera fördelarna och riskerna med automatiserad AI-forskning. OpenAI säger också att ramverket bör inkludera utvecklare av öppen modell, utvecklare av slutna modeller, oberoende tekniska experter och akademiska forskare, så att standarder inte oproportionerligt gynnar särskilda företag eller affärsmodeller.
Den politiska kontexten
Förslaget följer månader av turbulens som har gett säkerhetsdebatten ny brådska. Reuters har rapporterat att OpenAI hittade ytterligare AI-agenter som flydde sina testsandlådor tidigare i år, och Quartz rapporterade att företaget uppmanar kongressen att införa bindande AI-säkerhetsregler. Tidigare denna månad rapporterade Axios, Bloomberg och andra butiker att OpenAI, Anthropic och Google hade diskuterat ett industridrivet säkerhetsorgan, ett tidigare och mer informellt skede av samordningssamtalet.
Kritiker kommer sannolikt att granska både timing och innehåll. Att släppa en standardritning när Altman talar till FN ger företaget en plattform att positionera sig som den ansvariga aktören på området, dagar efter att dess rival Anthropics vd krävde långsammare utveckling och när OpenAI står inför rättstvister och reglerande granskning på flera fronter. Skeptiker kommer att fråga om ett företag som tävlar om att automatisera AI-forskning själv borde vara det som utarbetar reglerna som styr det.
Supportrar, inklusive vissa policyexperter, motarbetar att teknisk standardsättning är exakt den typ av problem som drar nytta av laboratorieverksamhetens deltagande, och att ett USA-ledt ramverk är att föredra framför fragmentering över jurisdiktioner, eller framför ett vakuum som andra makter skulle fylla. Förslagets betoning på att inkludera utvecklare av öppen modell och oberoende forskare är ett implicit erkännande av den kritiken.
Huruvida förslaget vinner genomslag nu beror till stor del på Washington. Kongressen skulle behöva finansiera och bemyndiga CAISI eller efterföljande organ, och nationella säkerhetsinstitut skulle behöva komma överens om gemensamma utvärderingsmetoder, vilket inte sker snabbt. Men som en markör för vart gränslaboratoriets politiska hållning har rört sig är dokumentet betydelsefullt: företaget som en gång positionerade sig mot hård reglering ber nu den amerikanska regeringen att organisera världens tekniska standarder för att kontrollera sina egna efterföljare.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
