Mer än 20 forskare – bland dem Nobelpristagaren Geoffrey Hinton, andra AI-pionjären Yoshua Bengio, Antropisk medgrundare Jack Clark och OpenAI:s chefsforskare Jakub Pachocki – har varnat regeringar för att förbereda sig för en AI-"intelligensexplosion" som de säger kan bli den mest följdriktiga tekniska utvecklingen i måndags, The Guards historia.

Tidningen, med titeln "Tänk om automatisering av AI FoU utlöser en intelligensexplosion", uppmanar politikerna att agera innan det sker skenande framsteg inom tekniken. Dess författare beskriver scenariot som en "dramatisk AI-driven acceleration av AI-framsteg, som komprimerar framsteg som annars skulle ta år till månader eller mindre". För läsare som spårar de senaste AI-forskningsnyheterna, är rapporten mindre anmärkningsvärd för sitt larm än för vem som undertecknat den: siffror från hela akademin och rivaliserande gränslaboratorier, vilket tillsammans visar att automatiserad forskning är det scenario som beslutsfattare är minst förberedda på.

Vad en underrättelseexplosion skulle betyda

Författarnas centrala oro är möjligheten att AI-system kan förbättra sig själva utan mänskligt ingripande - en process som kallas rekursiv självförbättring, i artikeln kallad automatiserad AI-forskning och -utveckling.

När AI-system når expertnivå vid AI FoU, hävdar tidningen, kan en enda utvecklare driva en arbetsstyrka som motsvarar "miljoner" av mänskliga toppforskare. Att automatisera AI FoU är enligt författarnas uppfattning den mest troliga utlösaren av en intelligensexplosion, eftersom AI-system redan bidrar till att förbättra sin egen teknik – och de förbättrade systemen de hjälper till att skapa kan snabbt sättas i drift när de väl har byggts.

"En underrättelseexplosion kan vara den mest följdriktiga tekniska utvecklingen i mänsklighetens historia, som komprimerar år av framsteg till månader eller mindre, hotar mänsklig kontroll över AI-system och allvarligt urholkar kontrollerna av makt inom och mellan stater, företag och regeringsgrenar", står det i tidningen enligt The Guardian.

Varför författarna säger att fönstret håller på att stängas

Rapportens brådska vilar på ett tidslinjepåstående: AI-system som verkar problematiska idag kan helt automatisera FoU-projekt som för närvarande tar mänskliga team månader till 2028.

"Produktivitetsvinster från AI FoU-automatisering har ännu inte nått den tröskel som behövs för att utlösa en intelligensexplosion, men vinster från nyare system närmar sig sannolikt den tröskeln", skriver författarna. "När en underrättelseexplosion väl börjar kan fönstret för handling stängas."

Tidningen tillägger att "preliminära bevis tyder på att en mjukvarudriven intelligensexplosion är möjlig", vilket kan leda till "extremt snabb utveckling av mycket kapabla eller övermänskliga AI-system".

Riskerna de flaggar

Medan en intelligensexplosion kan ge medicinska genombrott och snabba tekniska språng, skisserar författarna tre huvudsakliga faror:

  • Runway-hot. Kraftfulla system kan möjliggöra biologiska hot och cyberhot som utvecklas snabbare än de åtgärder som behövs för att motverka dem.
  • Tappade kontrollen. När människor blir mindre involverade i AI FoU, kan de förlora möjligheten att styra och begränsa de system de bygger.
  • Strategisk instabilitet. Stater skulle kunna använda en underrättelseexplosion för att omvandla ett blygsamt försprång - i cyberrymden till exempel - till en avgörande nationell fördel.

Rapporten är uppriktig att dessa effekter är "osäkra". Ett tekniskt genombrott kan ta tid att implementera givna försörjningskedjor för specialiserade material eller regulatoriska krav, och AI-system kan också påskynda den hastighet med vilken risker minskas.

Vad regeringar borde göra

Författarna säger att förberedelser för en underrättelseexplosion "bör vara en brådskande prioritet, inklusive på de högsta nivåerna av regeringsledning", och lägger upp en uppsättning kandidatpolicyer:

  • Kräva transparenta lägesrapporter om AI-relaterad FoU, inklusive inbäddning av oberoende revisorer i AI-företag
  • Begränsa hur snabbt ett AI-system kan förbättras inom en given tidsperiod
  • Arbeta med datacenter för att göra det möjligt att pausa vissa AI FoU-projekt
  • Se till att automatiserade AI FoU-system är helt isolerade och inte kan undgå mänsklig kontroll
  • Att skapa "nödberedskapsplaner" för de scenarier som en underrättelseexplosion kan skapa

Förslagen utökar idéer som redan rör sig genom västerländsk AI-policy – ​​obligatorisk incidentrapportering, utvärdering av tredje part och datorstyrning – men tillämpar dem på en specifik slutpunkt: automatiseringen av själva forskningen.

Varför dessa författare, och varför nu

Undertecknarna ger tidningen ovanlig tyngd. Hinton och Bengio är två av "gudfäderna" till modern AI, erkända för grundläggande arbete med neurala nätverk; båda har blivit framstående röster som varnar för den teknik de hjälpt till att skapa. Clark var med och grundade Anthropic och Pachocki är chefsforskare vid OpenAI.

Deras varning landar mitt i mätbar industrirörelse i den riktningen. Anthropic har sagt att AI nu producerar 80 % av sin egen kod, medan OpenAI använder autonoma AI-agenter inom områden som utbildning av nya modeller, enligt The Guardian. Båda labben har också gått med på att låta oberoende utvärderare utvärdera sina modeller efter att ha varnat för att AI-utvecklingen nådde en kritisk tonhöjd när det gäller säkerhet.

Huruvida regeringar kommer att röra sig i den takt författarna önskar är en annan fråga. Men tidningens kärnargument – ​​att ögonblicket att bygga bromsarna är innan bilen behöver dem – stöds nu av personerna närmast maskinen.

---

Stay ahead of AI

Få de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.

Läs mer AI-nyheter →