Kung Charles III utfärdade en skarp varning om de "existentiella farorna" med artificiell intelligens på torsdagen, och talade till chefer från Nvidia, Google DeepMind och OpenAI som samlades på hans egendom Dumfries House i Skottland för ett toppmöte på hög nivå om teknikens framtid.
Monarken berättade för de församlade industriledarna att det var brådskande att konfrontera riskerna med allt kraftfullare AI-system, särskilt om tekniken hamnar kontrollerad av illvilliga aktörer. For more context on this story, see our ongoing artificial intelligence updates.
"Det verkar brådskande att på ett adekvat sätt överväga de existentiella farorna med att sådan teknik hamnar i fel händer och används på potentiellt katastrofala sätt", sa kungen till ledare som samlats på Ayrshire-gården, enligt rapporter från ABC News och flera andra butiker.
Ett dubbelt budskap: löfte och fara
Kungens tilltal var inte ett generellt förkastande av tekniken. Han erkände att artificiell intelligens har en enorm potential för gott, och pekar särskilt på biovetenskap och medicin, där AI-verktyg används alltmer för att påskynda forskning och förbättra patientresultat.
Men han parade den optimismen med en försiktighet om att teknikens skapare själva i allt högre grad har varnat för att avancerade system kan utveckla mörkare kapacitet, "kanske till och med för att ta liv", sa han, enligt sändningsföretagets redogörelse för hans kommentarer.
Kungen krävde också att säkerhetsåtgärder införs innan det blir för sent att kontrollera teknikens bana, och höjde miljöpåverkan från AI-utveckling, ett ämne som har fått växande granskning när datacenter byggs ut påfrestande elnät i flera länder.
Vem deltog i det skotska toppmötet
Gästlistan läses som ett tvärsnitt av AI-branschens mäktigaste figurer. Deltagarna var Nvidias grundare och vd Jensen Huang, Google DeepMind-grundaren Demis Hassabis och OpenAI Chief Financial Officer Sarah Friar, enligt ABC News. Storbritanniens minister för artificiell intelligens, Kanishka Narayan, var också på plats.
Huang var inbjuden att träffa kungen för att diskutera industrins säkerhetsmekanismer, enligt bilder och bildtexter som distribuerats av Reuters. Fader Paolo Benanti, en påvlig rådgivare som har uppmanat regeringar att bromsa utvecklingen av AI, förväntades också närvara vid diskussionerna.
Valet av lokal och sammankallande har betydelse. Den brittiska monarkin har ingen reglerande makt, men kungen har en lång historia av offentligt engagemang kring nya tekniska risker, och toppmötet gav branschens högsta personer ett delat bord i ett ögonblick när kraven på tillsyn intensifieras på båda sidor av Atlanten.
En debatt återupplivad
Sammankomsten kommer mitt i en förnyelse av den offentliga debatten om AI-risk. Diskussionen kastades tillbaka in i rampljuset efter att två antropiska forskare varnat för att den snabbt framskridande tekniken kan leda till mänsklig utrotning inom en inte alltför avlägsen framtid, kommentarer som i lika hög grad väckte omfattande bevakning och kritik.
Antropisk vd Dario Amodei har separat uppmanat företag att sakta ner takten i AI-utvecklingen. Påven Leo XIV har uppmanat regeringar över hela världen att bromsa utvecklingen av AI-system och mildra deras störande effekter, medan USA:s president Donald Trump också har ingripit i debatten och gjort frågan om AI-styrning till en genuint global politisk fråga snarare än en rent teknisk.
Mot den bakgrunden växer oron för att AI-säkerhetsinsatserna släpar efter utvecklingen av alltmer kapabla system. De senaste veckorna har debatten kretsat kring huruvida branschen kan och bör reglera sig själv, med skeptiker som ifrågasätter om chefer som uppmanar till försiktighet kan ha bakomliggande motiv, som att utforma regler som bevarar konkurrensförsprånget för vissa företag.
Inga bindande regler förväntas
Arrangörerna inramade aldrig det skotska mötet som en förhandling. Enligt ABC News förväntas mötet inte ge några bindande överenskommelser. Dess syfte, åtminstone nominellt, är utforskande: om en delad uppsättning principer kan vägleda hur AI tillämpas över gränser och branscher.
Buckingham Palace sa att diskussionerna skulle överväga om AI skulle kunna vägledas "inte bara som en drivkraft för förmåga och effektivitet, utan som ett verktyg som upprätthåller mänsklig värdighet och bidrar till att både människor och planeten blomstrar."
Den inramningen speglar ett tema som kungen har återkommit till upprepade gånger: att frågan inte bara är om AI kan göras säker, utan vad den ska vara till för. Torsdagens kommentarer skärpte den punkten till en varning om ägande och kontroll, en tydligt annorlunda betoning än de kapacitetsfokuserade rädslan som dominerar de flesta AI-riskdiskussioner.
Vad händer härnäst
Toppmötet kommer sannolikt inte att producera politik på egen hand, men det sätter fart på en rad officiella ansträngningar som redan pågår. Storbritannien har positionerat sig som en sammankallande för AI-säkerhet sedan dess tidigare AI-toppmöten, och närvaron av en dedikerad minister för artificiell intelligens signalerar att regeringen har för avsikt att förbli engagerad med både amerikanska och kinesiska AI-utvecklare.
För företagen i lokalen är kalkylen känslig. Nvidia, DeepMind och OpenAI möter alla kommersiellt tryck att leverera alltmer kapabla system, även när deras egna forskare publicerar varningar om vad dessa system så småningom kan göra. En kunglig kallelse löser inte den spänningen, men den säkerställer att spänningen förblir synlig.
Kungens kärnbudskap, att skyddsåtgärder måste komma fram innan tekniken undkommer någons förmåga att styra den, landar inom en vecka när branschens säkerhetsdiskurs har varit ovanligt högljudd, från OpenAI:s avslöjande av flera säkerhetsincidenter som involverar sina egna modeller till en eskalerande offentlig tvist mellan Microsofts AI-ledarskap och AI-system Anthropic ska utformas.
Om torsdagens sammankomst blir något mer konkret återstår att se. Men med ledarna för världens mest värdefulla chipmaker och mest framstående AI-labb som sitter i ett skotskt hus på landet, och som åtminstone är överens om att insatserna är existentiella, har samtalet om vem som kontrollerar AI, och till vems fördel, flyttat ut på ett avgörande sätt.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
