Firma Anthropic zaczęła zapewniać zespołowi z METR, organizacji non-profit oceniającej pionierskie modele sztucznej inteligencji, „dostęp podobny do pracownika” do swoich systemów wewnętrznych – sprzętu firmowego, przestrzeni biurowej i narzędzi mniej więcej na równi z tym, z czego korzystają jej własne zespoły ds. oceny ryzyka – aby grupa zewnętrzna mogła niezależnie ocenić ryzyko związane z pionierskimi modelami Anthropic i opublikować wyniki.
Porozumienie, ogłoszone w środę na blogu Anthropic, wykracza poza relacje w stylu audytu, które zwykle tolerują firmy zajmujące się sztuczną inteligencją, i zawiera charakterystyczne postanowienie: METR opublikuje wyniki swoich ocen ryzyka, a Anthropic nie może zawetować publikacji.
Co właściwie oznacza „dostęp podobny do pracownika”.
Sześciu pracowników METR zostało wyposażonych w sprzęt firmowy, przestrzeń biurową oraz dostęp do wewnętrznych narzędzi i systemów, które Anthropic opisuje jako mniej więcej porównywalne z tym, co otrzymują jej własne zespoły ds. oceny ryzyka. Poza niewielką liczbą jasno zdefiniowanych kategorii – dane o klientach, informacje poufne dla prawników i informacje o architekturach modeli – Anthropic twierdzi, że jej pracownicy są zachęcani do dzielenia się informacjami z zespołem METR w taki sam sposób, w jaki robiliby to ze współpracownikiem pracującym nad ryzykiem dostosowania.
Zaangażowanie jest celowo wąskie. Obejmuje mały zespół działający na podstawie możliwych do wyegzekwowania umów, a inni pracownicy METR są odcięci od pracy tego zespołu – w tym badacze współpracujący z Anthropic przy innych projektach. Anthropic zauważa, że dzięki tej konfiguracji kilka wykwalifikowanych osób pracujących zgodnie ze standardami bezpieczeństwa Anthropic ma dokładny wgląd w sposób działania firmy; nie jest to kanał, za pomocą którego inne organizacje mogą uzyskać informacje o firmie Anthropic lub jej klientach.
Prawa do publikacji z poręczami
Zgodnie z umową METR opublikuje swoją analizę poziomów ryzyka, incydentów i praktyk Anthropic. Anthropic nie może zablokować publikacji, ale może wymagać redakcji, jeśli informacje należą do wcześniej zdefiniowanych kategorii opisanych powyżej – i sama Anthropic decyduje, co należy, a co nie, należy do tych kategorii. METR ze swojej strony zastrzega sobie prawo do składania określonych oświadczeń na temat poziomu dostępu i otrzymywanych informacji, co stanowi przeciwwagę zaprojektowaną tak, aby moc redakcyjna nie zamieniła się w przycisk wyciszenia.
Dlaczego Anthropic się otwiera
Posunięcie to jest następstwem podjętego w zeszłym miesiącu przez firmę Anthropic zobowiązania do silniejszej niezależnej oceny swoich modeli i praktyk bezpieczeństwa przez stronę trzecią oraz podpisania Porozumienia Białego Domu w sprawie superinteligencji, w którym firmy zajmujące się sztuczną inteligencją zobowiązały się do współpracy z niezależnymi zewnętrznymi audytorami lub osobami oceniającymi. Rozszerza także istniejącą współpracę: w ciągu ostatniego roku firma Anthropic współpracowała z METR przy kilku przeglądach jej raportów o ryzyku.
METR nie jest sam w portfolio. Anthropic twierdzi, że współpracuje również z SecureBio i Accenture w charakterze ewaluatorów — we wrześniu wydział Accenture został pierwszym wbudowanym ewaluatorem firmy — i prowadzi wstępne rozmowy z kilkoma innymi organizacjami, w tym z Hugging Face. Partnerstwa na wcześniejszym etapie wiążą się z bardziej ograniczonymi prawami dostępu do informacji i publikacji, podczas których firma uczy się, jakie rodzaje partnerstwa działają.
Analogia banku do nadzoru
Własne podejście Anthropic czerpie z finansów. Banki wiedzą więcej o swoich pozycjach ryzyka niż osoby z zewnątrz, dlatego organy regulacyjne wyznaczają egzaminatorów-rezydentów do pracy w największych bankach; jeżeli podejmowanie ryzyka przez bank mogłoby zagrozić społeczeństwu, osoby trzecie starają się to zobaczyć z wyprzedzeniem. Firma postrzega wbudowaną ocenę jako wersję tej logiki stosowaną w branży sztucznej inteligencji – krok w kierunku solidnego nadzoru nad bezpieczeństwem w dziedzinie, w której konstruktor zawsze wie więcej niż organ nadzoru.
U podstaw tego wszystkiego leży określony cel: zamknięcie luki między tym, co niezależni oceniający rozumieją na temat systemów pionierskiej firmy zajmującej się sztuczną inteligencją, a tym, co rozumie sama firma.
Czego potrzebują ewaluatorzy
W ogłoszeniu określono również, czego zdaniem Anthropic wymaga znacząca ewaluacja: wiedzy specjalistycznej w zakresie oceny możliwości modeli granicznych, w tym zrozumienia, w jaki sposób ewaluacje mogą pójść nie tak w wyniku takich zjawisk, jak fałszowanie dopasowania; niezależność, co oznacza brak zależności kapitałowej lub finansowej lub operacyjnej od ocenianej spółki; wystarczający dostęp, aby umożliwić znaczącą ocenę ryzyka, wykraczającą poza najnowsze modele i obejmującą sposób ich szkolenia i funkcjonowanie zabezpieczeń; oraz swobodę publikowania obserwacji i ocen modelu lub procesu.
Przypadek testowy dla całej branży
Aranżacja zostanie oceniona na podstawie jej wyników. Pierwsza opublikowana ocena METR w ramach nowego systemu dostępu pokaże, czy dostęp na wzór pracownika pozwala uzyskać rzetelne wyniki, czy też raporty okrojone według kategorii redakcyjnych zdefiniowanych przez samą firmę. Sceptycy zauważą, że Anthropic kontroluje granice kategorii i że zespół pilotażowy jest niewielki; zwolennicy zauważą, że prawo do publikacji, którego Anthropic nie może zawetować, jest naprawdę nowatorskie wśród pionierskich laboratoriów.
Tak czy inaczej, branża patrzy. Jeśli wbudowany dostęp METR ujawni istotne ustalenia i opublikuje je w nienaruszonym stanie, model stanie się oczywistym szablonem dla każdego laboratorium, które podpisało Porozumienie z Białym Domem – i punktem odniesienia dla decydentów rozważających, czy dobrowolny nadzór może zastąpić obowiązkowe audyty. Aby na bieżąco relacjonować politykę bezpieczeństwa sztucznej inteligencji i wiadomości z branży sztucznej inteligencji, które ją kształtują, AI Buzz Wire śledzi każdy rozwój sytuacji w przypadku jego awarii.
---
Wyprzedź sztuczną inteligencjęOtrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
