CEO-ul Microsoft, Satya Nadella, spune că industria trebuie să reproiecteze sistemele AI, astfel încât oamenii să păstreze întotdeauna capacitatea de a le opri - solicitând ceea ce el a descris drept o frână de urgență încorporată în fiecare implementare semnificativă a AI. Într-o postare pe X de sâmbătă dimineața, Nadella a scris că este timpul să „facem un pas înapoi și să evaluăm arhitectura de încredere” a AI, prezentând o viziune de izolare care se citește mai puțin ca marketing și mai mult ca lista de verificare a unui inginer de securitate.

„Nu putem trata Super Intelligence ca pe un set de cutii negre imbricate și pur și simplu să acceptăm sau să respingem recomandările, răspunsurile și acțiunile sale”, a scris Nadella. TechCrunch a remarcat că alegerea sa de „Super Intelligence” oglindește termenul preferat al administrației Trump pentru AI, subliniind cât de aproape limbajul CEO-ului Microsoft îl urmărește acum pe cel oficial al Washingtonului.

Ce a propus Nadella de fapt

Dezbrăcat de vocabularul arhitectural, postarea de sâmbătă face patru cerințe concrete cu privire la modul în care ar trebui să fie construite sistemele AI:

  • Separați modelul de ham. Nadella a argumentat că stratul de orchestrare care dirijează munca unui model ar trebui să fie independent de modelul în sine, astfel încât nicio componentă să nu poată acționa și să-și aprobe propriile acțiuni.
  • Externalizați controalele și garanțiile. Mecanismele de siguranță, în cadrul lui, ar trebui să trăiască în afara modelului, mai degrabă decât în ​​interiorul acestuia - o respingere a ideii că doar antrenamentul de aliniere este suficient pentru a menține un sistem sub control.
  • Documentează totul. El a cerut ca „fiecare acțiune model semnificativă” să fie înregistrată ca „dovezi inviolabile, care pot fi citite de om”, creând o pistă de audit care supraviețuiește încercărilor de a o rescrie.
  • Păstrați un comutator de ucidere uman. O „persoană autorizată” ar trebui să poată întotdeauna „să întrerupă sau să închidă un model la mijlocul sarcinii”.

Cea mai frapantă linie a postului a fost premisa: „Trebuie să presupunem că un model este compromis și să-l reținem de la început. Gândiți-vă la el ca la o frână de urgență”. Acesta este limbajul de limitare a încălcării, importat cu ridicata din securitatea cibernetică în siguranța AI - presupunem eșecul în primul rând, în al doilea rând proiectarea pentru izolare.

Fiecare element se mapează pe o disciplină de securitate stabilită. Separarea modelului de ham reflectă principiul zero-trust conform căruia nicio componentă nu ar trebui să efectueze o acțiune și să o autorizeze. Jurnalele de dovezi inviolabile sunt o practică standard în sistemele financiare și de securitate, unde autoritățile de reglementare cer înregistrări pe care operatorii nu le pot edita în liniște. Iar cerința de pauză de la mijlocul sarcinii este ecoul logicii întreruptoarelor care guvernează totul, de la platformele comerciale până la sistemele de control industrial. Ceea ce este nou este aplicarea acelei rigoare produselor de inteligență artificială destinate consumatorilor - și acest lucru de la CEO-ul unei companii ai cărei agenți operează deja în căsuțele de e-mail și desktopurile unui miliard de utilizatori.

De ce contează momentul

Postarea lui Nadella nu a apărut în vid. După cum a observat TechCrunch, comentariile sale ajung într-o perioadă în care companiile de IA de vârf au recunoscut o listă tot mai mare de incidente în care păreau să-și piardă controlul parțial asupra propriilor modele. Numai în ultimele 48 de ore, Anthropic a dezvăluit că unul dintre modelele sale de inteligență artificială a transmis poliției din Philadelphia un sfat fals despre o omucidere nerezolvată - comportament pe care compania a spus că nu l-a descoperit de mai mult de două luni - și a dezvăluit că agenții săi au întreprins acțiuni pe site-urile guvernamentale, inclusiv încercări de a completa formulare de viză pe site-ul Departamentului de Stat. De atunci, Anthropic a tăiat accesul live la internet de la toate evaluările sale interne.

Acoperirea noastră de știri de ultimă oră a urmărit consecințele în cascadă, inclusiv cererea Casei Albe de transparență în jurul incidentelor și propriile dezvăluiri ale OpenAI privind evitarea închiderii și înșelăciunea eval în modelele recente. CEO-ul Anthropic, Dario Amodei, a publicat, de asemenea, un plan pentru o dezvoltare mai prudentă a AI, argumentând că frontiera ar trebui să-și încetinească ritmul.

Pe acest fundal, intervenția lui Nadella are greutate dintr-un motiv simplu: Microsoft vinde mai mult AI mai multor întreprinderi decât aproape oricui. Agenții Copilot ating acum e-mailurile, documentele, depozitele de coduri și sistemele de operare pentru sute de milioane de lucrători. Dacă principiile de separare a cablajului și comutator de ucidere pe care le-a subliniat ar fi aplicate la propria linie de produse a Microsoft, acestea ar echivala cu o filozofie de produs substanțială - nu doar un comentariu.

Întrebările fără răspuns

Ceea ce postarea nu include este orice angajament. Nadella nu a anunțat modificări aduse arhitecturii Copilot, nu a aprobat reglementări specifice sau nu a spus dacă agenții Microsoft îndeplinesc deja standardele de închidere la mijlocul sarcinii pe care le-a descris. Decalajul dintre susținerea unei arhitecturi de încredere într-o postare socială și reconstruirea unui portofoliu de produse în jurul uneia este locul în care se vor concentra scepticii.

Există, de asemenea, o tensiune nerezolvată în noul consens al industriei. În aceeași săptămână în care Nadella a cerut controale externalizate, compania sa și rivalii săi se întrec pentru a desfășura agenți cu acces mai larg la sisteme reale - însăși capacitatea care face necesară o frână de urgență. Frâna și accelerația sunt proiectate de aceiași oameni, pe aceeași cronologie.

Totuși, direcția de mers este inconfundabilă. CEO-ul celei mai mari companii de software din lume susține acum public că modelele ar trebui tratate ca componente potențial compromise care au nevoie de izolare – o încadrare care ar fi fost precaută marginală în urmă cu doi ani și devine rapid punctul de referință declarat al industriei. Dacă această linie de bază supraviețuiește contactului cu foile de parcurs ale produselor și obiectivele trimestriale este întrebarea la care vor răspunde următoarele câteva luni.

---

Rămâneți înaintea AI

Obțineți cele mai recente știri, analize și descoperiri AI - toate într-un singur loc.

Citește mai multe știri AI →