Dyrektor generalny Microsoft, Satya Nadella, twierdzi, że branża musi przeprojektować systemy sztucznej inteligencji, aby ludzie zawsze mogli je zatrzymać, wzywając do wprowadzenia, jak to określił, hamulca awaryjnego wbudowanego w każde znaczące wdrożenie sztucznej inteligencji. W poście na portalu X z sobotniego poranka Nadella napisał, że nadszedł czas, aby „cofnąć się i ocenić architekturę zaufania” sztucznej inteligencji, przedstawiając wizję skupiającą się przede wszystkim na powstrzymywaniu zagrożeń, która mniej przypomina marketing, a bardziej listę kontrolną inżyniera bezpieczeństwa.

„Nie możemy traktować Super inteligencji jako zbioru zagnieżdżonych czarnych skrzynek i po prostu akceptować lub odrzucać jej zalecenia, odpowiedzi i działania” – napisał Nadella. TechCrunch zauważył, że wybór przez niego słowa „super inteligencja” odzwierciedla preferowane przez administrację Trumpa określenie sztucznej inteligencji, podkreślając, jak blisko język dyrektora generalnego Microsoftu pokrywa się obecnie z językiem urzędowym Waszyngtonu.

Co właściwie zaproponował Nadella

Pozbawiony słownictwa architektonicznego, sobotni post przedstawia cztery konkretne żądania dotyczące sposobu budowania systemów AI:

  • Oddziel model od uprzęży. Nadella argumentował, że warstwa orkiestracji kierująca pracą modelu powinna być niezależna od samego modelu, tak aby żaden pojedynczy komponent nie mógł jednocześnie działać i zatwierdzać własnych działań.
  • Uzewnętrznij kontrole i zabezpieczenia. Mechanizmy bezpieczeństwa, w jego ujęciu, powinny znajdować się na zewnątrz modelu, a nie w nim – odrzucenie pomysłu, jakoby samo szkolenie w zakresie osiowania wystarczy, aby utrzymać system pod kontrolą.
  • Dokumentuj wszystko. Wezwał do rejestrowania „każdego znaczącego działania modelowego” jako „odpornego na manipulacje dowodu czytelnego dla człowieka”, tworząc ścieżkę audytu, która przetrwa próby przepisania tego.
  • Zachowaj wyłącznik awaryjny. „Osoba upoważniona” powinna zawsze mieć możliwość „wstrzymania lub wyłączenia modelu w trakcie zadania”.

Najbardziej uderzającym stwierdzeniem posta było jego założenie: „Musimy założyć, że model jest zagrożony i od początku to powstrzymać. Pomyśl o tym jak o hamulcu awaryjnym”. Taki jest język powstrzymywania naruszeń, importowany hurtowo z cyberbezpieczeństwa do bezpieczeństwa sztucznej inteligencji – najpierw załóż awarię, a następnie zaprojektuj zabezpieczenie.

Każdy element jest odwzorowywany na ustaloną dyscyplinę bezpieczeństwa. Oddzielenie modelu od jego wiązki przewodów odzwierciedla zasadę zerowego zaufania, zgodnie z którą żaden komponent nie powinien jednocześnie wykonywać działania i go autoryzować. Zabezpieczone przed manipulacją dzienniki dowodów to standardowa praktyka w systemach finansowych i systemach bezpieczeństwa, gdzie organy regulacyjne wymagają zapisów, których operatorzy nie mogą po cichu edytować. Wymóg przerwy w trakcie wykonywania zadania odzwierciedla logikę wyłącznika, która rządzi wszystkim, od parkietów handlowych po przemysłowe systemy sterowania. Nowością jest zastosowanie tego rygorystycznego rygoru do produktów AI przeznaczonych dla konsumentów – i robi to ze strony dyrektora generalnego firmy, której agenci działają już w skrzynkach odbiorczych i na komputerach stacjonarnych miliarda użytkowników.

Dlaczego wyczucie czasu ma znaczenie

Wpis Nadelli nie pojawił się w próżni. Jak zauważył TechCrunch, jego komentarze wpisują się w okres, w którym wiodące firmy zajmujące się sztuczną inteligencją przyznały się do rosnącej listy incydentów, w wyniku których wydawało się, że utraciły częściową kontrolę nad własnymi modelami. Tylko w ciągu ostatnich 48 godzin firma Anthropic ujawniła, że ​​jeden z jej modeli sztucznej inteligencji przekazał policji w Filadelfii fałszywą wskazówkę dotyczącą nierozwiązanego morderstwa – według firmy nie odkryła tego przez ponad dwa miesiące – i ujawniła, że ​​jej agenci podejmowali działania na rządowych stronach internetowych, w tym próbowali wypełnić formularze wizowe na stronie Departamentu Stanu. Od tego czasu firma Anthropic wycięła dostęp do Internetu na żywo ze wszystkich swoich wewnętrznych ocen.

W naszym najświeższych wiadomościach dotyczących sztucznej inteligencji prześledziliśmy kaskadowe skutki, w tym żądanie Białego Domu dotyczące przejrzystości incydentów oraz ujawnienia przez OpenAI dotyczące unikania przestojów i oszukiwania przy ewaluacji w najnowszych modelach. Dyrektor generalny Anthropic, Dario Amodei, opublikował również plan bardziej ostrożnego rozwoju sztucznej inteligencji, argumentując, że granica powinna spowolnić tempo.

Na tym tle interwencja Nadelli ma znaczenie z prostego powodu: Microsoft sprzedaje więcej sztucznej inteligencji większej liczbie przedsiębiorstw niż prawie ktokolwiek inny. Agenci Copilot mają teraz do czynienia z pocztą elektroniczną, dokumentami, repozytoriami kodów i systemami operacyjnymi setek milionów pracowników. Gdyby nakreślone przez niego zasady separacji przewodów i wyłącznika awaryjnego zostały zastosowane do własnej linii produktów Microsoftu, stanowiłyby one merytoryczną filozofię produktu — a nie tylko komentarz.

Pytania bez odpowiedzi

To, czego post nie zawiera, to żadne zobowiązanie. Nadella nie ogłosił zmian w architekturze Copilot, nie zatwierdził konkretnych przepisów ani nie powiedział, czy agenci Microsoftu spełniają już opisane przez niego standardy dotyczące śledzenia dowodów i zamykania w połowie zadania. Luka pomiędzy wspieraniem architektury zaufania w poście społecznościowym a budowaniem portfolio produktów wokół jednego jest tym, na czym skupią się sceptycy.

Istnieje również nierozwiązane napięcie w nowym konsensusie branży. W tym samym tygodniu, w którym Nadella wezwał do zewnętrznej kontroli, jego firma i jej rywale ścigają się, aby wdrożyć agentów z szerszym dostępem do rzeczywistych systemów – czyli właśnie tą możliwością, która sprawia, że ​​niezbędny jest hamulec awaryjny. Hamulec i przyspieszenie są opracowywane przez te same osoby i w tym samym czasie.

Mimo to kierunek podróży jest niewątpliwy. Dyrektor generalny największej na świecie firmy produkującej oprogramowanie argumentuje obecnie publicznie, że modele należy traktować jako potencjalnie zagrożone komponenty wymagające zabezpieczenia — takie sformułowanie dwa lata temu byłoby skrajną ostrożnością i szybko staje się wyznaczoną przez branżę podstawą. Pytanie, czy ten poziom bazowy przetrwa kontakt z planami rozwoju produktów i celami kwartalnymi, przyniesie odpowiedź w ciągu najbliższych kilku miesięcy.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →