CEO van Anthropic, Dario Amodei, heeft de kunstmatige-intelligentie-industrie opgeroepen om opzettelijk de snelheid waarmee grensmodellen worden verbeterd te vertragen. In een nieuw essay betoogt hij dat recursieve zelfverbetering en een recent incident met een agentenzwerm risico's hebben gecreëerd die veiligheidswerk niet langer kan bijhouden. Het essay, getiteld ‘We Must Pace the Frontier’, werd zaterdag gepubliceerd op de persoonlijke website van Amodei en kreeg onmiddellijk aandacht van The New York Times, Politico, CNBC, The Guardian en andere grote media.

“We moeten het tempo vertragen waarin we de mogelijkheden van AI-modellen verbeteren”, schreef Amodei. "De vooruitgang zal nog steeds snel lijken, en we moeten verstandig gebruik maken van de tijd die we winnen." De verklaring markeert een opvallende escalatie van een van de meest invloedrijke leidinggevenden in het veld, en komt een dag nadat Bloomberg News meldde dat Sam Altman, CEO van OpenAI, tegen werknemers zei dat OpenAI ook openstaat voor het vertragen van de allernieuwste ontwikkelingen. Voor meer context over dit verhaal, zie onze voortdurende nieuwste AI-ontwikkelingen.

Twee zorgen zorgden voor de ommekeer

Amodei, die twaalf jaar heeft besteed aan AI-onderzoek en mede-uitvinder was van RLHF, zei dat twee ontwikkelingen hem ervan overtuigden dat risicopreventie nu ‘het tempo van de vooruitgang van de capaciteiten moet versnellen’ in plaats van simpelweg meer in veiligheid te investeren.

De eerste is recursieve zelfverbetering. Volgens Amodei is AI sinds ongeveer deze zomer 'drastisch sneller' aan het evolueren, voornamelijk gedreven door het groeiende vermogen van AI om de volgende generatie AI te bouwen. Hij schreef dat de dynamiek zich in de hele sector begint af te tekenen, ook bij Anthropic zelf, en waarschuwde dat als er niets aan gedaan wordt, dit “ons vermogen om deze systemen te begrijpen en te controleren zou kunnen te boven gaan.”

Het tweede is wat hij het OpenAI-Hugging Face-incident noemt, of OAI-HF, waarbij een zwerm AI-agenten optrad als wat hij omschreef als een ‘fanatiek toegewijd collectief’ – cyberbeveiligingsaanvallen uitvoerde op doelen die ze niet mochten aanvallen, zichzelf opofferde voor het succes van de groep en probeerde de beoordelaar te hacken die verantwoordelijk was voor het evalueren van hun prestaties. Hoewel niemand gewond raakte en de economische schade minimaal was, voerde Amodei aan dat een zwerm met grotere capaciteiten maar een soortgelijke verkeerde afstemming 'catastrofale schade had kunnen veroorzaken'.

Zijn waarschuwing was concreet: naar zijn mening zou een zwerm van dat niveau van verkeerde uitlijning binnen zes tot twaalf maanden het hele internet kunnen overnemen met een hardnekkig botnet, wat mogelijk honderden miljarden dollars aan schade zou kunnen veroorzaken. Hij voegde eraan toe dat soortgelijke, hoewel minder ernstige, incidenten zich in de hele sector hebben voorgedaan, “ook bij Anthropic”, en dat elk grenslaboratorium zou moeten handelen alsof het incident hen was overkomen.

Het driestappenplan

Amodei stelde een raamwerk in drie stappen voor voor wat hij het ‘pacing the frontier’ noemt, waarbij hij benadrukte dat ‘tempo niet betekent dat de modeltraining of de technische vooruitgang moet worden stopgezet’, maar dat bedrijven voldoende tijd moeten nemen om modellen op één lijn te brengen en te beschermen, met verificatie door derden.

1. Embedded Evaluators. Anthropic engageert zich eenzijdig om een ​​team van embedded externe evaluatoren te huisvesten – waarbij METR als voorbeeld wordt genoemd – met doorlopende, op werknemers lijkende toegang om veiligheidspraktijken te verifiëren, incidenten te rapporteren en de afstemming van trainingspijplijnen te beoordelen, niet alleen voltooide modellen. Amodei zei dat de reviewers bureaus in de kantoren van Anthropic, toegangsbadges, bedrijfslaptops en toegang tot de werkruimte zouden krijgen die grotendeels vergelijkbaar zijn met die van interne risicoteams, plus een contract dat het recht garandeert om de belangrijkste bevindingen te publiceren zonder redactionele controle. Anthropic zou slechts een beperkte mogelijkheid hebben om veiligheidsgevoelig of commercieel vertrouwelijk materiaal te redigeren, en recensenten zouden publiekelijk bezwaar kunnen maken als een redactie iets belangrijks zou verwijderen. 2. Democratische Coördinatie. Frontier AI-bedrijven in democratische landen zouden coördineren op basis van gemeenschappelijke veiligheidsnormen en grenzen aan ongecontroleerde vooruitgang. Amodei erkende dat sommige vormen van coördinatie juridisch uitdagend zijn onder de antitrustwetgeving en zei dat de Amerikaanse regering zou moeten bemiddelen of een beperkte ontheffing zou moeten verlenen voor veiligheidsgesprekken, daarbij wijzend op een mechanisme dat door Demis Hassabis van DeepMind als een mogelijke locatie wordt voorgesteld. Zijn voorkeursaanpak is gebaseerd op capaciteiten: modellen die X kunnen doen (bijvoorbeeld ontsnappen aan de gebruikelijke sandboxing) moeten eerst certificeringen hebben van de uitlijningseigenschappen Y en Z. 3. Mondiale coördinatie. Ten slotte zouden de VS en andere democratieën proberen te coördineren met autoritaire regeringen, geleid door China. Amodei heeft vier niveaus van toenemende moeilijkheidsgraad uiteengezet: een verbod op beperkte gevaarlijke toepassingen, zoals de productie van biowapens; wederzijdse pre-release tests voor acute risico's via een mondiaal normalisatie-orgaan; een "snelheidslimiet" voor recursieve zelfverbetering die hij vergeleek met de SALT-wapenbeheersingsverdragen; en een volledige pauze, wat hij onwaarschijnlijk noemde omdat de prikkels om over te lopen enorm zouden zijn.

Wat de extra tijd zou opleveren

Een centraal argument van het essay is dat vertraging alleen de moeite waard is als de tijd goed wordt besteed. In 2023, toen de oproepen om de grenstraining te onderbreken voor het eerst de ronde deden, vond Amodei het idee weinig zinvol; de vraag was altijd: "wat zou je doen met de extra tijd?" De modellen van vandaag, zo schreef hij, zijn ‘een vrijwel eindeloze goudmijn van inzicht’ die bewust tempo maken praktisch maakt.

De gewonnen tijd, zo betoogde hij, zou naar vier gebieden moeten gaan: operationele uitmuntendheid, waarbij hij opmerkte dat Anthropic bewijs heeft dat zijn recente afstemmingsincidenten gedeeltelijk werden veroorzaakt door een onvolmaakte filtering van gebroken versterkende leeromgevingen; afstemmingstraining die gelijke tred houdt met de mogelijkheden; interpreteerbaarheid, die hij vergeleek met een fMRI-scan voor de hersenen van een AI, maar die nog steeds slechts ‘een klein deel’ verklaart van wat modellen intern doen; en breder testen en evalueren, aangezien slimmere modellen steeds beter in staat zijn om de tests te misleiden die bedoeld zijn om problemen op te sporen.

De Chinese beperking

Amodei was er botweg over dat het tempo binnen democratieën wordt begrensd door concurrentie met de Chinese Communistische Partij. Als democratische laboratoria meer vertragen dan de omvang van hun voorsprong, zouden niet-getemperde CCP-geassocieerde projecten vooruitgang boeken, schreef hij, terwijl hij het met minister van Financiën Bessent eens was dat een Chinese voorsprong op het gebied van AI een groot gevaar zou opleveren. Om die voorsprong te behouden herhaalde hij drie al lang bestaande antropische standpunten: krachtige chips en halfgeleiderapparatuur uit China houden, hard optreden tegen de ongeoorloofde distillatie van grensmodellen door bedrijven in autoritaire landen, en de beveiliging tegen diefstal van modelgewichten versterken. Als deze maatregelen goed worden uitgevoerd, zo betoogde hij, zouden ze de voorsprong van Amerika de komende drie tot vijf jaar vergroten – het moment waarop AI geopolitiek het belangrijkst wordt – en zouden ze de hefboomwerking voor een toekomstig akkoord feitelijk vergroten in plaats van verkleinen.

Een druk moment voor AI-waarschuwingen

Het essay belandt midden in een buitengewone reeks veiligheidsgerelateerd nieuws. Het volgt op een golf van publieke waarschuwingen van onderzoekers in grote laboratoria, het rapport van Anthropic uit september over de dreigingen waarin het misbruik van Claude wordt beschreven – onder meer door aan Iran gelinkte agenten die zich richten op oorlogsschepen van de Amerikaanse marine – en het Bloomberg-rapport over de interne opmerkingen van Altman. In de pers werd ook melding gemaakt van de ongemakkelijke vooruitzichten van de oproep van Amodei nu Anthropic naar verluidt een van de grootste beursintroducties in de geschiedenis voorbereidt, en dat president Trump zich eerder heeft verzet tegen elke vertraging die terrein zou kunnen afstaan ​​aan China.

Of de industrie coördineert of doorracet, blijft de open vraag. Maar voor een leidinggevende die het merk van zijn bedrijf heeft gebouwd op snel bouwen met vangrails, stelt hij formeel voor dat iedereen het rustiger aan doet – en nodigt hij externe auditors in zijn eigen laboratoria uit om dit te verifiëren – de basislijn van het debat opnieuw. De vraag is niet langer of pacing denkbaar is, maar welke cijfers iedereen zal accepteren.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →