Den antropiske vd Dario Amodei har varnat lagstiftare för att den accelererande trenden mot artificiell intelligens med öppen källkod kan leda samhället in på en farlig väg om kraftfulla modeller släpps utan noggranna skyddsåtgärder, vilket återupplivar en av de mest kontroversiella debatterna inom AI-politiken.
Amodei, som grundade och leder företaget bakom Claude-familjen av modeller, hävdade att den unika karaktären hos öppen källkod AI, som gör avancerade system fritt tillgängliga för alla att ladda ner, modifiera och distribuera, skapar risker som konventionell programvara med öppen källkod aldrig utgjorde. Hans kommentarer, rapporterade av Tekedia, fokuserar på svårigheten att kontrollera kapabel AI när den väl har distribuerats offentligt. För mer sammanhang om den här historien, se våra pågående fler AI-berättelser.
Till skillnad från traditionell programvara kan banbrytande AI-system generera övertygande text, producera realistiska bilder, skriva datorkod och hjälpa till med cybersäkerhetsuppgifter. Amodei hävdar att i fel händer skulle dessa möjligheter kunna utnyttjas för att automatisera cyberattacker, starta sofistikerade desinformationskampanjer eller främja skadlig biologisk forskning.
Problemet med beständighet
En av de centrala riskerna som Amodei lyfte fram är att när en kraftfull modell väl släpps öppet blir den i praktiken omöjlig att återkalla. Slutna system som drivs av företag kan övervakas, korrigeras och begränsas när nya sårbarheter dyker upp. En modell med öppen källkod kan däremot kopieras på obestämd tid och omdistribueras över internet, vilket ger utvecklare ingen mekanism för att begränsa användningen efter release.
Den beständigheten, varnade Amodei, är särskilt oroande eftersom modeller närmar sig prestanda på mänsklig nivå för allt mer komplexa uppgifter. Han hävdade att avancerad AI borde utsättas för robusta säkerhetstester, kontrollerad distribution och lämplig regulatorisk tillsyn innan den blir allmänt tillgänglig, snarare än att behandlas som vanlig mjukvara som kan förbättras i det fria.
Hans position speglar en växande fellinje i branschen. Förespråkare av öppen källkod AI hävdar att allmänhetens tillgång sporrar konkurrens, demokratiserar tekniska framsteg och hindrar en handfull företag från att monopolisera artificiell intelligens. Utvecklare över hela världen kan inspektera modellarkitektur, ytsäkerhetsbrister och förbättra system i samarbete, medan startups, forskare och utbildningsinstitutioner kan bygga utan att vara beroende av dyra proprietära plattformar.
Specifika risker på bordet
Amodeis oro är inte abstrakt. Öppet släppta modeller har redan tagits bort från sina skyddsräcken av forskare som använder enkla finjusteringstekniker, en praxis som visade hur snabbt skyddsåtgärder kan tas bort när de underliggande vikterna är offentliga. När modellerna blir mer kapabla för uppgifter som kemi, biologi och mjukvaruexploatering, är oron att öppna utgåvor kan ge kraftfulla funktioner till aktörer som aldrig skulle klara den undersökning som ansvariga laboratorier ålägger sina kunder.
Desinformationsdimensionen har också blivit föremål för granskning. Modeller som kan generera realistisk text, bilder och ljud i stor skala kan vändas mot valinblandning, ekonomiskt bedrägeri eller massproduktion av propaganda. Eftersom en öppen modell fungerar helt på angriparens egen hårdvara, noterade Amodei, finns det inget API att strypa, inget konto att stänga av och ingen leverantör att hålla ansvarig när skadan är skedd.
En konkurrenskraftig bakgrund
Amodeis varningar anländer mitt i en våg av kapabla öppna modeller från kinesiska utvecklare. Zhipus GLM-5.2, tillsammans med andra billiga kinesiska system, har uppmärksammat hur snabbt öppna och öppet tillgängliga modeller minskar gapet med gränsöverskridande proprietära system från Anthropic och OpenAI. Det konkurrenstrycket har intensifierat den politiska debatten om huruvida restriktioner för öppna utsläpp skulle gynna dominerande företag eller lämna samhällen utsatta för missbruk.
Kritiker av Amodeis hållning hävdar att en begränsning av AI med öppen källkod kan oavsiktligt förankra stora teknikföretag genom att begränsa oberoende innovation. De noterar också att transparens ofta tillåter forskare att identifiera sårbarheter snabbare än sluten utveckling gör. Även många förespråkare för öppen utveckling erkänner dock att allt kraftfullare system kan kräva starkare styrningsramverk än tidigare generationer av mjukvara.
Den reglerande linan
Diskussionen har blivit brådskande när regeringar runt om i världen överväger nya AI-regler. Politiker står inför en svår balans: överdrivna restriktioner kan bromsa ekonomisk tillväxt och vetenskapliga upptäckter, medan otillräcklig tillsyn kan utsätta samhällen för risker som är svåra att förutse. För att uppnå den balansen, föreslog Amodei, krävs samarbete mellan regeringar, teknikföretag, akademiska forskare och civilsamhället.
Hans vittnesmål understryker en av decenniets avgörande teknikpolitiska debatter. I takt med att artificiell intelligens blir mer kapabel måste samhället bestämma sig för hur man ska uppmuntra innovation samtidigt som man minimerar farorna med utbredd tillgång till transformativa system. Oavsett om det är genom reglering, branschstandarder eller internationellt samarbete, kan de val som görs under de kommande månaderna över AI med öppen källkod forma vem som kontrollerar tekniken och hur säkert den distribueras, i många år framöver.
För Anthropic överensstämmer inställningen med företagets långvariga betoning på AI-säkerhet och kontrollerade utsläpp. Men med öppna modeller som går snabbt framåt och tillsynsmyndigheter fortfarande kämpar för att komma ikapp, kan klyftan mellan Amodeis varningar och takten i öppen källkodsrörelsen minska snabbare än vad politikerna kan stänga den.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
