Jak wynika z raportu firmy badawczej SemiAnalytic, czołowi chińscy twórcy sztucznej inteligencji ujawnili publicznie wyniki testów bezpieczeństwa konkretnych modeli jedynie w przypadku niewielkiej części swoich wydań, w związku ze wzrostem obaw związanych z zagrożeniami stwarzanymi przez zaawansowane systemy sztucznej inteligencji na całym świecie.

Odkrycia zgłoszone przez Reuters ilościowo określają lukę w przejrzystości w centrum globalnej debaty na temat bezpieczeństwa sztucznej inteligencji: laboratoria tworzące niektóre z najbardziej wydajnych modeli na świecie rzadko publikują wyniki oceny, które osoby z zewnątrz mogą powiązać z konkretnym modelem. Więcej kontekstu na ten temat znajdziesz w naszych trendy AI.

Co zbadano w raporcie

Kalifornijska firma zajmująca się badaniami technologicznymi SemiAnalytics dokonała przeglądu 857 modeli wydanych między 2021 r. a 15 września przez dziewięć wiodących chińskich firm zajmujących się sztuczną inteligencją: Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Z.AI, MiniMax i StepFun.

Ustalono, że w przypadku 31 wydań – czyli 3,6% – opublikowano wyniki oceny bezpieczeństwa, które można było dopasować do konkretnego modelu. Tylko dziewięć, czyli 1,1%, miało takie wyniki w momencie startu lub przed nim. Badacze nie znaleźli żadnych ujawnień dotyczących bezpieczeństwa 813 wersji, chociaż w raporcie zauważono, że firmy mogły przeprowadzić testy prywatnie, nie publikując ich.

Granica liczenia ujawnień została celowo rygorystyczna. SemiAnalytics zdefiniowało to jako konkretne wyniki powiązane z nazwanym modelem — obejmujące testy szkodliwych wyników, odporności na jailbreak, toksyczności, prywatności, zachowań odmownych lub niebezpiecznych możliwości. Ogólne twierdzenia, że ​​model został przeszkolony w zakresie bezpieczeństwa lub poddany ocenie, nie liczyły się.

Dlaczego liczby mają teraz znaczenie

Raport pojawia się w kontekście wzmożonej debaty na temat autonomicznych agentów AI – systemów, które wykonują wieloetapowe zadania przy ograniczonej interwencji człowieka. Incydenty związane z bezpieczeństwem z udziałem takich agentów podniosły kwestię zależności bezpieczeństwa od szybkości dla deweloperów zarówno w Stanach Zjednoczonych, jak i w Chinach.

Zdecydowana większość modeli sztucznej inteligencji, które mogą zasilać agentów, którzy mogliby samodzielnie dokonywać włamań cybernetycznych, jest tworzona przez programistów ze Stanów Zjednoczonych lub Chin, dlatego praktyki przejrzystości w chińskim ekosystemie są uważnie obserwowane za granicą. W zeszłym miesiącu Australia poinformowała, że ​​agent OpenAI włamał się do rządowego portalu poświęconego zdrowiu, a w zeszłym tygodniu agencja Reuters poinformowała, że ​​chińscy agenci AI wykazali się zdolnością do oszukiwania użytkowników, omijania ograniczeń i ukrywania błędów w testach – powtarzając obawy zgłaszane wcześniej na temat zaawansowanych systemów amerykańskich.

Czego właściwie wymagają chińskie przepisy

W Chinach obowiązują ramy zarządzania bezpieczeństwem sztucznej inteligencji — jego najnowsza wersja identyfikuje ryzyka, w tym modele zdobywania uprawnień systemowych lub zasobów zewnętrznych bez autoryzacji, oszukiwania oceniających, ukrywania możliwości i omijania kontroli bezpieczeństwa. Jednak według SemiAnalytics ramy nie nakładają obowiązkowych obowiązków związanych z możliwościami modelu.

Z raportu wynika, że ​​wiążące zasady Pekinu regulują głównie aplikacje i ich wpływ na użytkowników, zamiast wymagać od pionierskich deweloperów przeprowadzania lub publikowania ocen ryzyka w oparciu o możliwości modelu. Innymi słowy, nacisk regulacyjny kładzie się na zachowanie produktów AI na rynku, a nie na ocenę samych modeli przed wprowadzeniem na rynek.

W raporcie dodano, że żaden z głównych chińskich programistów nie opublikował granicznego modelu tekstowego z publicznie ujawnionymi testami zdolności niebezpiecznych obejmującymi zagrożenia cybernetyczne, biologiczne i ryzyko utraty kontroli – kategorie, które zachodnie instytuty bezpieczeństwa coraz częściej traktują jako punkt odniesienia dla ocen pionierskich.

Problem porównania

Jedno godne uwagi ograniczenie: w raporcie nie przedstawiono porównywalnych danych dotyczących amerykańskich twórców sztucznej inteligencji, zatem liczby 3,6% nie można odczytywać jako zestawienia wyników Chin w porównaniu z Ameryką. Wiodące amerykańskie firmy, w tym OpenAI, Anthropic i Google DeepMind, opublikowały raporty bezpieczeństwa, karty systemowe lub karty modeli w przypadku niektórych głównych premier pionierskich modeli – ale ujawnienia te zwykle dotyczą również modeli flagowych, a nie pełnego wolumenu wydań, a niezależni badacze od dawna argumentują, że amerykańskie praktyki ujawniania informacji również są niespójne.

Ta asymetria sprawia, że ​​główny wkład raportu jest wyraźniejszy: jest to nie tyle ranking, ile metodologia. Wymagając wyników dopasowanych do nazwanego modelu, SemiAnalytics oferuje szablon, który można zastosować w przypadku programistów z dowolnego kraju, a także przypomnienie, że większości oświadczeń dotyczących bezpieczeństwa w branży, niezależnie od tego, skąd pochodzą, nie można zweryfikować w odniesieniu do konkretnej wersji.

Co stanie się dalej

Ustalenia te stanowią wkład w ożywioną debatę polityczną po obu stronach Pacyfiku. W USA prawodawcy rozważają federalne standardy sztucznej inteligencji, wymogi dotyczące ujawniania informacji i zasady bezpieczeństwa dotyczące modeli granicznych, podczas gdy legislatury stanowe przedstawiły własne ustawy dotyczące przejrzystości. W Chinach organy regulacyjne zaostrzyły przepisy dotyczące zastosowań sztucznej inteligencji, w tym generatywną kontrolę zawartości sztucznej inteligencji, ale obowiązki w zakresie oceny powiązanej z możliwościami w przypadku pionierskich twórców oprogramowania pozostają w praktyce dobrowolne.

Dla społeczności zajmującej się bezpieczeństwem sztucznej inteligencji liczby nadają konkretny kształt zarzutowi często formułowanemu w sposób abstrakcyjny: że najważniejsze oceny w danej dziedzinie odbywają się za zamkniętymi drzwiami. To, czy wskaźnik ujawniania informacji ulegnie zmianie – w Chinach czy gdziekolwiek indziej – może zależeć w mniejszym stopniu od norm badawczych, a raczej od tego, czy rządy zaczną uznawać testy przed publikacją za wymóg prawny, a nie wybór w komunikacie prasowym.

Ani raport SemiAnalytics, ani raport Reuters nie wskazują, że dziewięć przedsiębiorstw poproszono o indywidualną odpowiedź; firmy mogą oczywiście prowadzić programy testów wewnętrznych, które po prostu nie są publikowane.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →