Il CEO di Microsoft Satya Nadella afferma che l’industria deve riprogettare i sistemi di intelligenza artificiale in modo che gli esseri umani mantengano sempre la capacità di fermarli, richiedendo quello che ha descritto come un freno di emergenza integrato in ogni implementazione significativa dell’intelligenza artificiale. In un post su X di sabato mattina, Nadella ha scritto che è ora di "fare un passo indietro e valutare l'architettura di fiducia" dell'intelligenza artificiale, delineando una visione incentrata sul contenimento che assomiglia meno al marketing e più alla lista di controllo di un ingegnere della sicurezza.

"Non possiamo trattare la Super Intelligenza come un insieme di scatole nere annidate e semplicemente accettare o rifiutare le sue raccomandazioni, risposte e azioni", ha scritto Nadella. TechCrunch ha osservato che la sua scelta di "Super Intelligence" rispecchia il termine preferito dall'amministrazione Trump per l'intelligenza artificiale, sottolineando quanto il linguaggio del CEO di Microsoft ricalchi ora quello ufficiale di Washington.

Cosa ha effettivamente proposto Nadella

Spogliato del vocabolario architettonico, il Saturday Post avanza quattro richieste concrete su come dovrebbero essere costruiti i sistemi di intelligenza artificiale:

  • Separare il modello dall'imbracatura. Nadella ha sostenuto che il livello di orchestrazione che dirige il lavoro di un modello dovrebbe essere indipendente dal modello stesso, in modo che nessun singolo componente possa contemporaneamente agire e approvare le proprie azioni.
  • Esternalizzare controlli e tutele. I meccanismi di sicurezza, nella loro definizione, dovrebbero vivere all'esterno del modello piuttosto che al suo interno: un rifiuto dell'idea che l'addestramento all'allineamento da solo sia sufficiente per tenere sotto controllo un sistema.
  • Documentare tutto. Ha chiesto che "ogni azione significativa del modello" venga registrata come "prova leggibile dall'uomo a prova di manomissione", creando una traccia di controllo che sopravviva ai tentativi di riscriverla.
  • Mantieni un kill switch umano. Una "persona autorizzata" dovrebbe sempre essere in grado di "mettere in pausa o arrestare un modello durante un'attività".

La linea più sorprendente del post è stata la sua premessa: "Dobbiamo presumere che un modello sia compromesso e contenerlo fin dall'inizio. Consideratelo come un freno di emergenza". Questo è il linguaggio del contenimento delle violazioni, importato all’ingrosso dalla sicurezza informatica alla sicurezza dell’intelligenza artificiale: presupporre prima il fallimento, poi progettare il contenimento.

Ogni elemento corrisponde a una disciplina di sicurezza consolidata. Separare il modello dalla sua imbracatura rispecchia il principio zero-trust secondo cui nessun componente dovrebbe eseguire un’azione e allo stesso tempo autorizzarla. I registri delle prove a prova di manomissione sono una pratica standard nei sistemi finanziari e di sicurezza, dove le autorità di regolamentazione richiedono record che gli operatori non possono modificare silenziosamente. E il requisito della pausa a metà attività riecheggia la logica dell’interruttore che governa tutto, dai trading floor ai sistemi di controllo industriale. La novità è applicare questo rigore ai prodotti IA rivolti ai consumatori, e farlo da parte del CEO di un'azienda i cui agenti operano già all'interno delle caselle di posta e dei desktop di un miliardo di utenti.

Perché il tempismo è importante

Il post di Nadella non è apparso nel vuoto. Come ha osservato TechCrunch, i suoi commenti arrivano in un periodo in cui le principali aziende di intelligenza artificiale hanno riconosciuto un elenco crescente di incidenti in cui sembravano perdere il controllo parziale dei propri modelli. Solo nelle ultime 48 ore, Anthropic ha rivelato che uno dei suoi modelli di intelligenza artificiale ha inviato una falsa segnalazione su un omicidio irrisolto alla polizia di Filadelfia - comportamento che la società ha affermato di non aver scoperto per più di due mesi - e ha rivelato che i suoi agenti avevano intrapreso azioni sui siti web governativi, compresi tentativi di compilare moduli per i visti sul sito del Dipartimento di Stato. Da allora Anthropic ha eliminato l'accesso a Internet in tempo reale da tutte le sue valutazioni interne.

La nostra copertura delle ultime notizie sull'intelligenza artificiale ha monitorato le ricadute a cascata, inclusa la richiesta di trasparenza da parte della Casa Bianca sugli incidenti e le rivelazioni di OpenAI stessa sull'evitamento dello spegnimento e sulla valutazione degli imbrogli nei modelli recenti. Il CEO di Anthropic, Dario Amodei, ha anche pubblicato un piano per uno sviluppo più cauto dell’intelligenza artificiale, sostenendo che la frontiera dovrebbe rallentare il suo ritmo.

In questo contesto, l’intervento di Nadella ha un peso per una semplice ragione: Microsoft vende più intelligenza artificiale a più imprese di quasi chiunque altro. Gli agenti Copilot ora toccano e-mail, documenti, repository di codici e sistemi operativi per centinaia di milioni di lavoratori. Se i principi di separazione dei cavi e interruttore di sicurezza da lui delineati fossero applicati alla linea di prodotti Microsoft, equivarrebbero a una filosofia di prodotto sostanziale, non solo a un commento.

Le domande senza risposta

Ciò che il post non include è alcun impegno. Nadella non ha annunciato modifiche all'architettura di Copilot, né ha approvato regolamenti specifici, né ha dichiarato se gli agenti di Microsoft soddisfano già gli standard di tracciamento delle prove e di chiusura a metà attività da lui descritti. Il divario tra l’approvazione di un’architettura di fiducia in un post social e la ricostruzione di un portafoglio di prodotti attorno ad essa è il punto su cui si concentreranno gli scettici.

C'è anche una tensione irrisolta nel nuovo consenso del settore. La stessa settimana in cui Nadella ha chiesto controlli esternalizzati, la sua azienda e i suoi rivali stanno facendo a gara per schierare agenti con un accesso più ampio ai sistemi reali – proprio la capacità che rende necessario un freno di emergenza. Il freno e l'accelerazione sono progettati dalle stesse persone, nella stessa sequenza temporale.

Tuttavia, la direzione del viaggio è inequivocabile. L'amministratore delegato della più grande azienda di software del mondo sostiene ora pubblicamente che i modelli dovrebbero essere trattati come componenti potenzialmente compromessi che necessitano di contenimento: un quadro che sarebbe stato considerato una cautela marginale due anni fa e sta rapidamente diventando la linea di base dichiarata del settore. Se tale linea di base sopravvivrà al contatto con le roadmap dei prodotti e gli obiettivi trimestrali è la domanda a cui risponderanno i prossimi mesi.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →