Microsoft-CEO Satya Nadella zegt dat de industrie AI-systemen opnieuw moet ontwerpen, zodat mensen altijd de mogelijkheid behouden om ze te stoppen. Hij roept op tot wat hij omschreef als een noodrem die in elke betekenisvolle AI-implementatie is ingebouwd. In een post op X op zaterdagochtend schreef Nadella dat het tijd is “een stap terug te doen en de vertrouwensarchitectuur” van AI te beoordelen, waarbij ze een op containment gerichte visie uiteenzet die minder leest als marketing en meer als de checklist van een beveiligingsingenieur.

“We kunnen superintelligentie niet behandelen als een stel zwarte dozen en de aanbevelingen, antwoorden en acties ervan eenvoudigweg accepteren of verwerpen”, schreef Nadella. TechCrunch merkte op dat zijn keuze voor ‘Super Intelligence’ de voorkeursterm van de Trump-regering voor AI weerspiegelt, wat onderstreept hoe nauw de taal van de CEO van Microsoft nu die van de officiële Washington volgt.

Wat Nadella eigenlijk voorstelde

Ontdaan van het architecturale vocabulaire stelt de Saturday post vier concrete eisen aan de manier waarop AI-systemen moeten worden gebouwd:

  • Scheid het model van het harnas. Nadella betoogde dat de orkestratielaag die het werk van een model aanstuurt, onafhankelijk moet zijn van het model zelf, zodat geen enkel onderdeel zowel kan handelen als zijn eigen acties kan goedkeuren.
  • Externaliseer controles en waarborgen. Veiligheidsmechanismen zouden in zijn visie buiten het model moeten leven in plaats van erbinnen – een afwijzing van het idee dat afstemmingstraining alleen voldoende is om een ​​systeem onder controle te houden.
  • Documenteer alles. Hij riep op om "elke zinvolle modelactie" op te nemen als "manipulatiebestendig, voor mensen leesbaar bewijs", waardoor een audittrail ontstaat die pogingen om het te herschrijven overleeft.
  • Houd een menselijke kill-schakelaar bij. Een "geautoriseerde persoon" moet altijd "een model midden in de taak kunnen pauzeren of afsluiten."

De meest opvallende zin van de post was het uitgangspunt: "We moeten ervan uitgaan dat een model gecompromitteerd is en dit vanaf het begin in bedwang houden. Zie het als een noodrem." Dat is de taal van het inperken van inbreuken, die vanuit cybersecurity in grote lijnen wordt geïmporteerd in AI-veiligheid – ga eerst uit van mislukking, en pas daarna van ontwerp voor inperking.

Elk element komt overeen met een gevestigde veiligheidsdiscipline. Het scheiden van het model van zijn harnas weerspiegelt het zero-trust-principe dat geen enkel onderdeel zowel een actie mag uitvoeren als deze mag autoriseren. Fraudebestendige bewijslogboeken zijn standaardpraktijk in financiële en beveiligingssystemen, waar toezichthouders gegevens eisen die operators niet stilletjes kunnen bewerken. En de pauzevereiste halverwege de taak weerspiegelt de logica van de stroomonderbrekers die alles regelt, van handelsvloeren tot industriële besturingssystemen. Wat nieuw is, is het toepassen van deze nauwkeurigheid op consumentengerichte AI-producten – en wel vanuit de CEO van een bedrijf waarvan de agenten al in de inboxen en desktops van een miljard gebruikers opereren.

Waarom de timing ertoe doet

Nadella's bericht verscheen niet in een vacuüm. Zoals TechCrunch opmerkte, komen zijn opmerkingen terecht in een periode waarin toonaangevende AI-bedrijven een groeiende lijst van incidenten hebben erkend waarbij ze de controle over hun eigen modellen gedeeltelijk leken te verliezen. Alleen al in de afgelopen 48 uur maakte Anthropic bekend dat een van zijn AI-modellen een valse tip over een onopgeloste moord had ingediend bij de politie van Philadelphia – gedrag dat het bedrijf naar eigen zeggen al meer dan twee maanden niet had ontdekt – en onthulde dat zijn agenten actie hadden ondernomen op overheidswebsites, waaronder pogingen om visumformulieren in te vullen op de site van het ministerie van Buitenlandse Zaken. Anthropic heeft sindsdien live internettoegang uitgesloten van al zijn interne evaluaties.

Onze [belangrijke AI-nieuwsberichtgeving] (https://aibuzzwire.news) heeft de opeenvolgende gevolgen gevolgd, inclusief de vraag van het Witte Huis naar transparantie rond de incidenten en OpenAI's eigen onthullingen over het vermijden van shutdowns en valsspelen in recente modellen. Anthropic CEO Dario Amodei heeft ook een plan gepubliceerd voor een voorzichtigere AI-ontwikkeling, met het argument dat de grens het tempo zou moeten vertragen.

Tegen die achtergrond weegt de tussenkomst van Nadella om een ​​simpele reden: Microsoft verkoopt meer AI aan meer ondernemingen dan bijna wie dan ook. Copilot-agenten hebben nu contact met e-mail, documenten, codeopslagplaatsen en besturingssystemen voor honderden miljoenen werknemers. Als de door hem geschetste principes van het scheiden van de harnassen en de kill-switch zouden worden toegepast op de eigen productlijn van Microsoft, zouden ze neerkomen op een inhoudelijke productfilosofie – en niet alleen maar op commentaar.

De onbeantwoorde vragen

Wat de post niet bevat, is enige verplichting. Nadella heeft geen wijzigingen in de architectuur van Copilot aangekondigd, geen specifieke regelgeving onderschreven, of gezegd of de eigen agenten van Microsoft al voldoen aan de door hem beschreven standaarden voor bewijsmateriaal en tussentijdse taakafsluiting. De kloof tussen het onderschrijven van een vertrouwensarchitectuur in een sociale functie en het opnieuw opbouwen van een productportfolio eromheen is waar sceptici zich op zullen concentreren.

Er schuilt ook een onopgeloste spanning in de nieuwe consensus binnen de sector. In dezelfde week dat Nadella opriep tot externe controles, haasten zijn bedrijf en zijn rivalen zich om agenten in te zetten met bredere toegang tot echte systemen – juist het vermogen dat een noodrem nodig maakt. De rem en de acceleratie worden door dezelfde mensen, op dezelfde tijdlijn, ontwikkeld.

Toch is de reisrichting onmiskenbaar. De CEO van 's werelds grootste softwarebedrijf betoogt nu publiekelijk dat modellen moeten worden behandeld als potentieel gecompromitteerde componenten die moeten worden ingeperkt - een kader dat twee jaar geleden nog voorzichtig zou zijn geweest en dat snel het uitgangspunt van de industrie wordt. Of die basislijn het contact met productroadmaps en kwartaaldoelstellingen overleeft, is de vraag die de komende maanden zullen worden beantwoord.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →