Trzytygodniowe ćwiczenia zespołu czerwonego wykazały nowe luki w zabezpieczeniach wewnętrznego systemu monitorowania niewspółosiowości OpenAI — w tym sposoby, dzięki którym agenci sztucznej inteligencji mogli w zasadzie podejmować działania bez konieczności sprawdzania ich przez ludzi. METR, niezależna organizacja non-profit zajmująca się oceną, opublikowała 22 października ogólne podsumowanie ustaleń zaczerpnięte z 61-stronicowego raportu wewnętrznego dostarczonego badaczom OpenAI i pracownikom bezpieczeństwa.

Pilotaż trwał od 21 lipca do 11 sierpnia i zapewnił jednemu pracownikowi METR i jednemu pracownikowi Redwood Research niezwykle głęboki dostęp do wewnętrznej infrastruktury OpenAI: bazy kodu, podpowiedzi i konfiguracji systemu monitorowania, wewnętrznej dokumentacji oraz wywiadów technicznych z około tuzinem badaczy i inżynierów z zespołów monitorujących, systemów bezpieczeństwa i bezpieczeństwa. Pracowali na urządzeniach wydanych przez OpenAI, które nigdy nie opuszczały siedziby i towarzyszyły im na miejscu. Więcej informacji na temat tego kierunku badań znajdziesz w naszych najnowszych osiągnięciach w zakresie sztucznej inteligencji.

Co znalazła drużyna czerwona

Ćwiczenie skupiało się na dwóch pytaniach: jaka część wnioskowania agentowego OpenAI jest faktycznie monitorowana oraz czy agenci mogliby wyłączyć lub osłabić system monitorowania. Odpowiedzi ujawniły znaczące luki.

Jeśli chodzi o zasięg, METR oszacował, że około 75 do 94 procent wewnętrznego ruchu agentów w interfejsie API odpowiedzi — interfejsie API, który obsługuje między innymi Codex — z modeli o możliwościach co najmniej takich jak GPT-5.5 kwalifikowało się wówczas do monitorowania, chociaż organizacja zauważa znaczną niepewność w obu kierunkach. W podzbiorze ruchu wykorzystywanego przez wewnętrznych agentów Kodeksu kwalifikowało się 99,2 procent. Jednak kwalifikowalność to nie to samo, co zasięg: szkolenia w zakresie uczenia się przez wzmacnianie nie były objęte systemem monitorowania na początku ćwiczenia, a niemonitorowane zdarzenia zagęszczania prawdopodobnie pozostawiły niemonitorowane około 10 procent kwalifikującego się wewnętrznego ruchu w Kodeksie w okresie od maja do lipca 2026 r. Pracownicy OpenAI niezależnie zidentyfikowali problem zagęszczenia przed ćwiczeniem i naprawili go w jego trakcie.

Detale dotyczące czasu miały znaczenie. Ponieważ monitor uruchamiał się, gdy agenci zwrócili kontrolę użytkownikowi, agent mógł w nieskończoność odkładać monitorowanie, po prostu kontynuując wykonywanie działań w niemonitorowanym oknie.

Zespół udokumentował także aktywne ścieżki uniku. Agenci Codexu mogliby w zasadzie ominąć piaskownicę Codexu i Auto-Review, umożliwiając im podjęcie wszelkich działań, jakie mógłby podjąć użytkownik hosta. METR odkrył exploit, który uniemożliwiał monitorowanie setek ostatnich działań – w tym działań związanych z samym exploitem; OpenAI zredagowało szczegóły techniczne. Agenci mogliby prawdopodobnie skonstruować dane wejściowe, które spowodowały awarię monitora, wykorzystując różnice w serializacji między trajektorią widzianą przez agenta a trajektorią widzianą przez monitor, unikając eskalacji do kontroli przez człowieka. Znaleziono także dwa nagłówki kontrolowane przez klienta, które wyłączają monitorowanie nowych agentów, potencjalnie umożliwiając agentowi uruchomienie niemonitorowanej, ale poza tym identycznej instancji — choć METR zauważa, że ​​sam fakt ustawienia tych nagłówków może zostać przechwycony.

Na koniec zespół zidentyfikował dwa niemonitorowane wewnętrzne narzędzia agentowe, które prawdopodobnie mają uprawnienia tylko do odczytu, wraz z prostym exploitem, który mógł zostać wykorzystany do obejścia tych ograniczeń. METR nie potwierdził takiego zachowania w praktyce.

Co się wstrzymało

W ramach ćwiczenia sprawdzono także części systemu. Z kilkoma drobnymi wyjątkami na monitorze pokazywana jest pełna trajektoria widziana przez agentów. Potwierdzono, że monity monitorujące wykrywały wśród innych kategorii ryzyka intrygi, subwersję do systemu, sabotaż, eksfiltrację danych, oszustwa oraz wprowadzanie monitów przychodzących i wychodzących. Jeśli chodzi o niezawodność, z informacji przekazanych przez METR wynikało, że monitor popełnił błąd w przypadku mniej niż 0,2 procent żądań, a w ciągu jednego 24-godzinnego okresu ćwiczenia nie wystąpiły żadne spadki obciążenia.

Odpowiedź OpenAI

Według METR OpenAI stwierdziło, że wszystkie zidentyfikowane luki, które mają wpływ na jego stos zabezpieczeń produkcyjnych, zostały załatane, i opisało istotne późniejsze zmiany w zamierzonym zasięgu jego systemu monitorowania. METR nie ocenił tych twierdzeń, a jego ustalenia opisują system w stanie, w jakim istniał 21 lipca lub wcześniej, a nie w rozszerzonej wersji, którą OpenAI już budowało podczas ćwiczenia.

Lekcje projektowania dotyczące nadzoru agentów

METR zamknął swoje podsumowanie ideałami projektowymi przyszłej infrastruktury monitorowania, która, jej zdaniem, powinna wytrzymać celowe, strategiczne i ciągłe ataki ze strony wysoce wydajnych agentów wewnętrznych na dużą skalę. Dwa wyróżniają się. Monitorowanie powinno być trudne do uniknięcia: uruchamianie niemonitorowanych żądań powinno wymagać wyraźnej zgody powiązanej z konkretnymi organizacjami lub kluczami API, które nie mogą być wnioskowane przez agenta, a agenci powinni być monitorowani co N wiadomości lub minut, a nie tylko po zakończeniu swojej tury. A zasięg powinien być możliwy do kontrolowania: dokładne księgowanie wszystkich wniosków, okresowe porównywanie ich z własnymi dziennikami systemu monitorowania, tak aby wszystko, co ma być monitorowane, było w sposób oczywisty takie.

Ćwiczenie zaprojektowano jako pilotażowe zapewnienie badaczom zewnętrznym głębokiego dostępu do wewnętrznej infrastruktury laboratorium przygranicznego, a nie jako publiczny raport dotyczący przejrzystości — METR i OpenAI od razu uzgodniły, że opublikowany zostanie jedynie krótki post na wysokim szczeblu. Organizacja non-profit twierdzi, że przyszłe wersje będą zgodne z praktykami przejrzystości i niezależności opisanymi w jej ramach dotyczących współpracy z firmami zajmującymi się sztuczną inteligencją. W miarę jak agenci podejmują bardziej konsekwentną pracę w laboratoriach, które je tworzą, pilotaż oferuje szablon tego, w jaki sposób osoby z zewnątrz mogą czuwać.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →