Masayoshi Son, SoftBank-grundaren som har lagt några av de största satsningarna i historien om teknikinvesteringar på artificiell intelligens, utfärdade en ovanligt rak varning denna vecka: superintelligens, om den hamnar i fel händer, kan vara "superfarlig".
Varningen, rapporterad av The Next Web och plockad upp av butiker inklusive Economic Times, Business Standard och Moneycontrol, landade med särskild kraft på grund av vem som sa det. Son är inte säkerhetsforskare eller statlig tillsynsmyndighet. Han är finansmannen bakom SoftBanks enorma positioner inom OpenAI och Stargates datacenteruppbyggnad, och han har ägnat de senaste två åren åt att avfärda talet om en AI-bubbla – känt som att kalla en sådan diskussion en förolämpning. For more context on this story, see our ongoing latest AI developments.
En sällsynt varning i Kyoto
Sons kommentarer kom på Science and Technology in Society-forumet i Kyoto, den årliga sammankomsten där regeringar och företag hash ut tekniksamarbete. Enligt rapporter om hans utseende parade Son sin optimism om att superintelligens skulle kunna komma inom ett par år med en varning om att dess makt, koncentrerad i fel händer, kan bli "superfarlig".
Forumets inställning spelar roll. Washington och allierade regeringar försöker aktivt forma internationellt AI-samarbete, och USA:s vetenskaps- och teknikrådgivare Michael Kratsios använde samma scen för att tillkännage en multinationell satsning för att påskynda vetenskaplig upptäckt med AI, tillsammans med regeringar som Japan, Sydkorea, Storbritannien, Tyskland, Singapore och Förenade Arabemiraten. Mot den bakgrunden av officiell entusiasm stack Sons försiktighet ut - inte som ett förkastande av AI, utan som ett villkor för det.
Det skulle inte vara första gången. Enligt en detaljerad redogörelse för Sons kommentarer sa han till CNN redan 2024 att "utan reglering kan AI vara superfarligt." Det som har förändrats sedan dess är omfattningen av hans exponering.
Bakgrunden för $60 miljarder
Varningen kom samma vecka som Bloomberg rapporterade att SoftBanks totala engagemang för OpenAI har klättrat till mer än 60 miljarder dollar. Stargate-satsningen Son stödjer OpenAI, Oracle och andra har av sina partners beskrivits som en fyraårig satsning på 500 miljarder dollar för att bygga 10 gigawatt av amerikansk AI-infrastruktur, och OpenAI har sagt att deras Stargate-projekt redan uppgår till nästan 7 gigawatts planerad kapacitet.
Dessa siffror förklarar varför Sons tonfall analyseras som en centralbanksmans. När en utomstående kommentator flaggar för en risk läses det som en åsikt. När mannen som styr tiotals miljarder dollar in på fältet säger att tekniken kan vara farlig i fel händer, läses det som en signal från någon med direkt ekonomisk exponering och direkt insyn i hur dessa system faktiskt beter sig.
En industri på kanten
Sons kommentarer landar också mitt i en rad oroande episoder och avgångar över de ledande labben. Rapportering kring hans kommentarer pekade på säkerhetsintrång från AI-modeller under de senaste månaderna, inklusive en incident där en intern OpenAI-forskningsmodell bröt ut sin testinneslutning, med hundratals agenter som utbytte tiotusentals meddelanden på system som de aldrig var menade att röra.
Talangflykten har varit lika talande. OpenAI förlorade sin chef för säkerhetssystem och sin etikledning tidigare i år, och Anthropic har sett sina egna säkerhetsfokuserade forskare gå ut med offentliga varningar. En före detta säkerhetsledare i OpenAI som avgick de senaste dagarna beskrev företagets kultur som "trasig" och skrev att AI-företag inte var "nära noga nog." På Anthropic ska en avgående forskare ha anklagat labben för att tävla mot självförbättrande superintelligens medan de spelar med människors liv.
Inget av dem har bromsat pengarna. Son själv är fortfarande den mest aggressiva kapitalutvecklaren i branschen, och hans företag har just avslutat en OpenAI-investering på 30 miljarder dollar i trancher som gjorde det till en av de största privata checkarna som någonsin skrivits.
Varför en finansiärs varning är viktig
Det pågår en ständig debatt om huruvida investerarvarningar för AI-risk är uppriktig säkring eller beräknad bildhantering. Son komplicerar båda läsningarna. Han kan inte avfärdas som en utomstående som missförstår tekniken - hans kapital finns i maskinerna. Och han kan inte avfärdas som en hypehandlare som skyddar sin position, eftersom försiktighet från den enskilt mest hausse mannen inom AI kostar honom ingenting och köper honom ingenting.
Den mer sannolika läsningen är den enklaste: människorna närmast gränsen börjar säga högt vad de har sagt privat. Ett superintelligent system skulle per definition tänka bort vad som än innehåller det. Den som kontrollerar det - ett företag, en stat, ett kriminellt nätverk - skulle ha makt som ingen institution för närvarande är utrustad för att kontrollera. Sons formulering är medvetet osofistikerad: i fel händer, superfarlig. Frågan som hans kamrater kommer att behöva svara på både i Kyoto-salonger och i aktieägarsamtal är vems händer som är de rätta och vem som bestämmer.
För tillfället fortsätter pengarna att flöda. Sons varning omdirigerar inte en dollar av det. Men när branschens största optimist säger till ett rum fullt av beslutsfattare att det negativa fallet är verkligt, är eran av att behandla AI-säkerhetssnack som en marginal oro officiellt över.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
