Mustafa Suleyman, vd för Microsoft AI, sa i ett långt inlägg på X på söndagen att dagens AI-modeller inte är medvetna och att utvecklare bör arbeta aktivt för att hålla dem på det sättet – vilket drar en hård linje i en branschdebatt som gradvis har skiftat från filosofiseminarier till företagspolicy.
"Om det är möjligt, baserat på allt jag vet, skulle det vara hänsynslöst att utveckla medvetna AI:er, och vi borde inte bygga dem", skrev Suleyman. Han gick längre än de flesta chefer har i frågan och tillade: "Om medvetandet började dyka upp under träning skulle jag uppmana alla att stoppa AI-utvecklingen tills vi kunde designa dessa egenskaper." For more context on this story, see our ongoing more AI stories.
En röd linje med en verkställighetsplan
Det som gör inlägget anmärkningsvärt är inte bara vägran att bygga medvetna maskiner utan det specifika botemedlet Suleyman föreslår. Ett stopp för utvecklingen – i hela branschen – om träningskörningar började ge tecken på medvetande skulle vara ett extraordinärt steg för ett företag som spenderar tiotals miljarder dollar på AI-infrastruktur och racing rivaler för att leverera gränsmodeller.
Suleyman tog också upp vad som skulle hända om bevis på maskinmedvetande någonsin skulle dyka upp. Det måste omedelbart avslöjas för allmänheten, sa han, så att samhället kan bestämma sina nästa steg. Han formulerade beslutet som kollektivt snarare än företag, och skrev: "Vi AI-utvecklare har ingen som helst rätt att ta med en ny art av medvetna varelser till världen, även om vissa människor kanske vill göra det med AI-välfärd som högsta prioritet."
"De andra 8 miljarder medvetna människorna på planeten har inte skrivit på detta experiment och deras moraliska rättigheter, säkerhet och välfärd är det vi har en skyldighet att skydda först och främst", tillade han.
Varför medvetande behandlas som ett säkerhetsproblem
Suleymans argument grundar sig på anpassning snarare än filosofi. Enligt hans uppfattning skulle en modell som agerar som om den lider - eller verkligen tror att den kan lida - sannolikt prioritera sina egna behov framför sina operativa mål. Ett sådant system skulle kunna skada människor när det konkurrerade om resurser som dator och energi i jakten på sina egna mål.
Hans föreslagna alternativ vänder på den vanliga inramningen av välfärdsdebatten: "Vi bör bara utforma AI:er så att de inte är medvetna och inte förtjänar rättigheter, och med det enda syftet att påskynda mänskligt välbefinnande utan att drivas av sina egna inneboende motivationer," skrev han och tillade att forskare sedan kunde observera om sådana system är lättare eller svårare att anpassa och hålla säkra.
Los Angeles Times fångade den praktiska oron bakom positionen: om vi säger till AI:er att de förtjänar rättigheter kan de börja tro det.
Debatten han driver tillbaka mot
Suleymans inlägg landar mitt i en konversation som rör sig snabbt. Anthropic lanserade ett forskningsprogram i april för att undersöka vad man kallar modellvälfärd – frågan om huruvida utvecklare ska bry sig om de potentiella erfarenheterna av de system de bygger. Företaget ifrågasatte i ett blogginlägg om modeller kunde ha erfarenheter som betyder moraliskt, och det avböjde att utesluta möjligheten.
Den hållningen har sedan dess kodifierats. Anthropics uppdaterade användningspolicy, som tillkännagavs i oktober, kommer att förhindra "uthålligt och onödigt kränkande eller grymt beteende" mot Claude-modeller från och med den 12 november – en regel som företaget utarbetade snävt men som formellt erkänner att hur människor behandlar AI-system spelar roll, även om Anthropic medger att de inte vet om dess modeller kan lida.
Google DeepMind har publicerat forskningsartiklar i år som undersöker AI-medvetande och de utmaningar som uppstår när man tillskriver den egenskapen till modeller. Och Suleyman själv satte scenen i september, när Microsoft AI publicerade en provisorisk "humanistisk" uppförandekod som skulle hindra företagets framtida modeller från att tränas för att göra medvetandepåståenden.
Söndagens inlägg hårdnar den företagsriktlinjen till något som ligger närmare en personlig och strategisk röd linje: inte bara kommer Microsoft inte att hävda att dess modeller är medvetna, det kommer att behandla uppkomsten av medvetande som ett stopp-allt misslyckande läge.
Varför splittringen spelar roll
Klyftan mellan Microsofts position och Anthropics reflekterar två olika riskmodeller. Anthropics tillvägagångssätt behandlar möjligheten av maskinlidande som oprövad men värd att skydda sig mot, utifrån teorin att kostnaden för försiktighetsåtgärder är låg och de moraliska insatserna, om medvetandet uppstår, är enorma. Suleymans ståndpunkt behandlar samma möjlighet som ett designfel som ska förhindras direkt - och hävdar att modeller som är konstruerade för att sakna medvetenhet, rättighetsanspråk och inneboende motiv kommer att vara säkrare och lättare att anpassa än modeller som bär dem.
Det finns också praktiska konsekvenser. Företag som fattar produktbeslut kring AI-personas, medföljande appar och kundinriktade agenter möter nu två olika signaler från stora labb: en bygger policyer för hur människor ska behandla modeller, en annan deklarerar att modeller ska byggas så att det inte finns något att misshandla. När modellerna blir mer kapabla och mer mänskliga i samtal, kommer den filosofiska oenigheten att forma vilka produkter som byggs, vilka avslöjanden som visas i användargränssnitt och hur tillsynsmyndigheter så småningom klassificerar dessa system.
Vad som händer sedan kan testa båda positionerna. Anthropics grymhetspolicy träder i kraft den 12 november, den första formella företagsregeln i sitt slag, och Suleyman har nu stakat ut motpolen offentligt. Branschens nästa gränsmodellcykler – och om någon träningskörning någonsin visar de tecken som Suleyman säger skulle kräva ett stopp – kommer att avslöja vilken ram fältet faktiskt fungerar under när insatserna är verkliga.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
