Några timmar efter att Anthropics vd Dario Amodei publicerade sin "We Must Pace the Frontier"-uppsats där han uppmanade regeringar att bromsa AI-loppet, började ett spetsigt svar klättra Hacker News, och blev så småningom en av dagens mest uppmärksammade berättelser. Dess argument, som anges i ett öppet brev av författaren och utvecklaren Jacob Gold, är avväpnande enkelt: om Amodei är uppriktig när det gäller att bromsa AI, finns det en lag som han skulle kunna kräva som faktiskt skulle göra det - och ingen annan labbchef skulle kunna föreslå det. Kräv att varje AI-modell ett företag erbjuder till allmänheten ska släppas som öppna vikter.
"Jag tror att du är uppriktig", inleds brevet och riktar sig direkt till Amodei, "så jag ber dig att efterlysa en annan lag, en som faktiskt skulle sakta ner saker och ting, även om det skulle kräva verkliga uppoffringar från din sida." Brevet har drabbat en nerv just för att det engagerar sig i den starkaste versionen av Amodeis argument snarare än att avfärda det – och för att det hamnar mitt i den mest följdriktiga politiska debatten inom AI idag, en debatt som vi följer dagligen i vår AI-policybevakning.
Vad Amodei föreslog och varför Gold säger att det inte kommer att fungera
Amodeis uppsats engagerade Anthropic till inbäddade tredjepartsutvärderare och bad regeringar att kräva att alla andra gränsföretag matchar det åtagandet. Sam Altman höll med inom några timmar - "Jag håller med Dario om att vi måste ta fart på gränsen," sa han, enligt Politico, med OpenAI som också matchar utvärderarens åtagande. På dess ansikte är det en aldrig tidigare skådad anpassning: cheferna för de två mest värdefulla AI-labben i världen ber offentligt att bli bromsade.
Golds brev hävdar att det är just denna konsensus som borde göra observatörer misstänksamma. "Varje reglering du har bett om slutar i fångst", varnar den. Inbyggda utvärderare, beräkningströsklar, branschkoordinering med antitrust-avstående — "Allt skrivs med hjälp av de nuvarande gränslaboratorierna, eftersom ingen annan förstår de tekniska detaljerna tillräckligt bra för att skriva det." När sådana regler väl blir lag, lägger varje incident till en regel och ingen tas någonsin bort, och jättarna har råd med efterlevnadsteamen som håller mindre utmanare utanför. "Istället för att bromsa dig", säger brevet till Amodei, "skyddar det din position och vinster."
Motförslaget med öppna vikter
De alternativa guldskisserna är medvetet trubbiga. Alla AI-modeller som ett företag erbjuder till allmänheten måste skickas med sina vikter publicerade. Interna och forskningsmodeller skulle vara orörda, och regeringar skulle behålla tillgången till outgivna system – men Anthropic skulle behöva publicera vikterna av sin nästa frontiermodell samma dag som den släpptes, och OpenAI skulle behöva göra detsamma. "Det finns inget i det att leka eller undvika", avslutas brevet, "även för dig."
Mekanismen är snarare finansiell än byråkratisk. Som Gold förklarar beror finansieringen för utveckling av frontiermodeller på värderingar som antar att vikterna förblir proprietära. Ett mandat vänder på det antagandet: om varje offentlig utgåva är öppen, kommer konkurrensfördelar till den som tränar den bästa modellen snarare än den som säljer tillgång till den, premien inbäddad i privata värderingar töms, och pengarna som är tillgängliga för nästa utbildningskörning krymper - "i varje labb på en gång, utan att en tillsynsmyndighet bestämmer något." Det är i själva verket ett argument att marknadens förväntningar på stängda modeller är tävlingens motor, och att man tar bort förväntningarna tar bort motorn.
Varför Amodi, specifikt
Brevets argument för varför Amodei är den enda personen som skulle kunna lägga fram detta förslag bygger på hans rekord, och det är särskilt respektfullt. Gold krediterar honom för att han lämnade OpenAI i slutet av 2020 för att grunda Anthropic "när det säkra karriärdraget skulle stanna", med att han förespråkat reglering av sin egen industri i flera år och med att driva på exportkontroller som krymper hans egen marknad. Han noterar att Anthropic strukturerade sig själv som ett allmännyttigt företag med ett juridiskt uppdrag - "ansvarsfull utveckling och underhåll av avancerad AI för mänsklighetens långsiktiga fördel" - som skulle göra det möjligt för dess ledning att absorbera den ekonomiska hit en sådan lag skulle ge. Amodeis egen essä, konstaterar Gold, säger antropiska förespråkare för reglering "även när detta får oss att anklagas för hype, 'domerism' eller regulatorisk fångst."
Skeptiker kommer att notera de uppenbara motargumenten, och brevet besvarar dem inte fullt ut: öppna vikter gör missbruk lättare och framsteg svårare, ett mandat med öppen vikt skulle möta hårt motstånd från alla labbs investerare, och kritiker av Amodeis tidigare ståndpunkter om kinesiska öppna modeller kommer att höra ekon av gamla slagsmål i förslaget. Men brevets kärnutmaning beror inte på att dess politik antas. Det beror på en spänning som det uttryckligen nämner: ett labb som ber regeringar att bromsa alla andra, medan dess egen värdering beror på att ligga före, har ännu inte bett om något som kostar det något.
En debatt som nu är oundviklig
Huruvida Amodei svarar är nästan vidrigt. Inom en enda dag gick gränslaboratoriet från att konkurrera om kapacitet till att komma överens om behovet av tempo, och allmänhetens svar har flyttats från att fråga om AI är farligt till att fråga om de människor som varnar för det kan tros. Golds brev – några hundra ord med policydetaljer insvept runt en obekväm fråga – har blivit det skarpaste uttrycket för den skepsisen, och dess viralitet tyder på att den temporära debatten kommer att utkämpas inte bara i Washington utan offentligt, på plattformar som Hacker News, där öppenviktsgemenskapen har gjort varianter av detta argument i flera år.
Stay ahead of AI
Reglering, öppna vikter och kampen om AI:s tempo – täckt utan hypen.
Läs mer AI-nyheter →
