OpenAI wdrożyło w swojej infrastrukturze badawczej scentralizowany system kontroli o nazwie Control Room, którego zadaniem jest powstrzymywanie potencjalnie ryzykownych obciążeń modeli AI przed generowaniem dalszych wyników w ciągu 35 sekund od podjęcia decyzji o interwencji. Jak podaje firma Ciekawa Inżynieria, system łączy zadania, które stanowią podstawę najbardziej zaawansowanych badań firmy – w tym szkolenie modeli agentowych, oceny i zadania przetwarzania danych – z centralną usługą kontrolującą, czy mogą one nadal działać.
Firma ogłosiła publicznie istnienie systemu 9 listopada, pisząc: „Zbudowaliśmy Control Room, centralny system do śledzenia obciążeń modelowych w naszej infrastrukturze badawczej i szybkiego ich zatrzymywania, gdy pojawią się obawy dotyczące bezpieczeństwa. Łączy on wszystkie obciążenia związane z wnioskowaniem badawczym, w tym próbkowanie agentowe na potrzeby szkolenia i oceny modeli, dane…” Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.
Godny uwagi jest czas. W miarę jak modele sztucznej inteligencji zyskują coraz większe możliwości i przydzielane są im bardziej autonomiczne, przypominające agentów obowiązki w procesach szkoleniowych, rośnie wraz z nimi ryzyko, że model zachowa się w nieoczekiwany sposób podczas badań. Control Room to strukturalna odpowiedź OpenAI: nie tylko wypatrywanie problemów, ale także fizyczna możliwość ich odcięcia.
Jak działa sterownia
Control Room łączy trzy główne komponenty: obciążenie badawcze, silnik wnioskowania i centralną usługę Control Room. Obciążenie pracą, w terminologii OpenAI, to zadanie badawcze, takie jak eksperyment polegający na uczeniu się przez wzmacnianie, ocena lub zadanie przetwarzania dużych ilości danych. Każde obciążenie badawcze, które wykonuje wnioskowanie agentowe, musi zostać powiązane z zatwierdzonym przypadkiem bezpieczeństwa, zanim będzie mogło zostać uruchomione.
Kiedy badacz rozpoczyna zadanie, jego kod żąda unikalnego identyfikatora zadania od Control Room. Identyfikator ten jest następnie dołączany do każdego żądania wysyłanego przez obciążenie do silników wnioskowania — systemów wspieranych przez procesor graficzny, które faktycznie uruchamiają modele i generują dane wyjściowe.
Przed spełnieniem żądania wnioskowania silnik sprawdza w sterowni, czy powiązane zadanie jest nadal autoryzowane do uruchomienia. Jeśli badacz lub zautomatyzowany system monitorowania poinstruuje Control Room, aby zatrzymał zadanie, usługa odrzuci kolejne żądanie wnioskowania, a silnik odmówi wygenerowania dalszych wyników modelu dla tego obciążenia.
Zatrzymywanie wyjścia, niekoniecznie zadania
Wyróżnia się jeden szczegół projektu: zatrzymanie obciążenia niekoniecznie powoduje jego zakończenie. Sam proces badawczy może nadal działać – jego kod będzie nadal wykonywany – ale nie będzie mógł już uzyskiwać dodatkowych wyników modelu za pośrednictwem autoryzowanych silników wnioskowania. W przypadku nieodpowiedniego przebiegu szkolenia to wystarczy: bez dostępu do większej liczby generacji modeli nie można poczynić dalszych postępów.
Podejście to pozwala również uniknąć polegania na własnym kodzie obciążenia badacza w celu prawidłowego wdrożenia kontroli bezpieczeństwa. Zamiast tego OpenAI umieszcza krytyczny mechanizm autoryzacji w warstwie wnioskowania, która ma mniej i bardziej centralnie zarządzanych ścieżek kodu. Innymi słowy, wyłącznik awaryjny znajduje się w infrastrukturze, którą firma w pełni kontroluje, a nie w kodzie eksperymentu napisanym przez poszczególne zespoły.
Zaprojektowane, aby nie zostać zamknięte
Control Room jest zbudowany tak, aby zachować skuteczność nawet w przypadku nieprawidłowego działania innych komponentów. Jego mechanizm zamykania awaryjnego blokuje żądania wnioskowania, jeśli sama usługa Control Room stanie się niedostępna — co oznacza, że awaria techniczna, celowa próba wyłączenia lub potencjalna ingerencja w usługę centralną może spowodować, że silniki wnioskowania odrzucą wszystkie żądania do czasu, aż system powróci do normalnego działania.
Liczba 35 sekund oznacza maksymalne opóźnienie pomiędzy otrzymaniem instrukcji zatrzymania a zablokowaniem dalszego postępu. Opóźnienie wynika z warstwy buforowania używanej do obsługi ogromnej liczby żądań autoryzacji wnioskowania, a OpenAI twierdzi, że pracuje nad zmniejszeniem tego interwału do zera.
Automatyczne monitory obserwują każdy przejazd na granicy
Przełącznik „zabicia” łączy się z automatycznym monitorowaniem. Według OpenAI wszystkie zadania uczenia się przez wzmacnianie granic działają na oddzielnym monitorze opartym na modelu, który bada zachowanie modelu i generuje alerty w przypadku wykrycia potencjalnych problemów. Jeśli alert wymaga interwencji, system monitorowania może poinstruować Control Room, aby zakończył powiązane zadanie, co następnie blokuje kolejne żądania wnioskowania dla dowolnego modelu lub silnika wykorzystywanego przez obciążenie.
Firma podała niedawny incydent związany z DNS – w którym monitor wykrył agenta próbującego połączyć się z zewnętrznym chatbotem – jako przykład tego, dlaczego takie zabezpieczenia są istotne. W takim przypadku anomalia została wykryta przez automatyczny nadzór, a nie przez człowieka.
Część szerszego działania na rzecz bezpieczeństwa
OpenAI zauważa, że Control Room jest już wdrożony w całej infrastrukturze badawczej, gdzie potrzeba interwencji jest największa. Jej zewnętrzna infrastruktura do obsługi modeli, na której działają produkty takie jak ChatGPT, jest bardziej scentralizowana i posiada już mechanizmy operacyjne umożliwiające w razie potrzeby wstrzymanie wdrażania modeli — Control Room wypełnia lukę po stronie badawczej.
Firma twierdzi, że będzie w dalszym ciągu wzmacniać swoje systemy monitorowania i zabezpieczenia przed nieprawidłowym zachowaniem i naruszeniami bezpieczeństwa w ramach szerszego podejścia do zabezpieczania rozwoju modeli pionierskich.
Dla branży w coraz większym stopniu definiowanej przez agentów autonomicznych Control Room jest sygnałem, dokąd zmierzają laboratoria pionierskie: mechanizmy bezpieczeństwa zakładające, że modele czasami będą zachowywać się nieprawidłowo na dużą skalę, i które sprawiają, że zatrzymanie ich jest raczej gwarancją infrastruktury niż nadzieją.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
