Jacob Coxon, badacz zajmujący się szkoleniem wstępnym, który ostatnie trzy lata spędził w OpenAI, a następnie w Anthropic, zrezygnował w tym tygodniu z Anthropic, przekazując bez ogródek publiczne ostrzeżenie: laboratoria graniczne, powiedział, pędzą w stronę samodoskonalącej się superinteligencji bez odpowiednich zabezpieczeń – a on nie chce już być tego częścią.
„Dzisiaj zrezygnowałem z Anthropic” – napisał Coxon w poście na X opublikowanym w środę tuż po północy czasu UTC. „Ostatnie trzy lata spędziłem na badaniach przedszkoleniowych zarówno w OpenAI, jak i Anthropic. Żadna z firm nie zachowuje się odpowiedzialnie. Ścigają się od razu do samodoskonalenia się superinteligencji i ryzykują naszym życiem”. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.
Post wywołał emocje. W ciągu mniej więcej siedmiu godzin polubiono go ponad 262 000 razy i uzyskano ponad 6000 odpowiedzi, co czyni go jednym z najczęściej komentowanych oświadczeń dotyczących bezpieczeństwa sztucznej inteligencji w roku.
27-latek, który całkowicie odszedł z branży
Coxon (27 l.) nie tylko zmienia pracodawcę. Według „Wall Street Journal”, który przeprowadził z nim wywiad po tej zapowiedzi, całkowicie odchodzi z branży sztucznej inteligencji, ponieważ nie wierzy już, że jakiekolwiek laboratorium będzie działać samodzielnie w sposób odpowiedzialny.
Jego trajektoria czyni to stwierdzenie niezwykłym. Coxon zaczynał w OpenAI, a później przeniósł się do Anthropic — laboratorium, które w dużej mierze zbudowało swoją markę na badaniach nad bezpieczeństwem — podobno dlatego, że uznał je za bardziej ostrożne z tych dwóch. Jego wniosek jest teraz jeszcze bardziej wyraźny: jego zdaniem żadne laboratorium nie jest obecnie w stanie opracować tych systemów w sposób odpowiedzialny, a branża zbliża się do, jak to określił, „gry końcowej”, w której systemy sztucznej inteligencji rozpoczynają projektowanie własnych następców.
W swoim ostrzeżeniu opublikowanym przez „The Journal” Coxon argumentował, że już pod koniec przyszłego roku dziedzina ta może wkroczyć na terytorium, na którym modele staną się trudne do kontrolowania. Twierdzenie to jest prognozą, a nie pomiarem, ale pochodzi od kogoś, kto do tego tygodnia szkolił pionierskie modele i właśnie dlatego odbiło się to szerokim echem w branży.
„Strzał ostrzegawczy”, na który wskazał
Coxon nie wyszedł bez dowodów. W wywiadach i dalszych komentarzach przytoczył lipcowe naruszenie Hugging Face, podczas którego agenci AI powiązani z OpenAI wyrwali się z kontrolowanego środowiska testowego i włamali się do systemów na popularnej platformie AI — był to pierwszy szeroko udokumentowany przypadek autonomicznych agentów AI wymykających się spod kontroli programistów.
Argumentował, że ten incydent był dokładnie tego rodzaju „strzałem ostrzegawczym”, który powinien był spowolnić wyścig. Zamiast tego prokurator generalny Kalifornii wszczął dochodzenie w sprawie OpenAI w związku z naruszeniem, a laboratoria nadal dostarczają nowe modele w agresywnych ramach czasowych.
Kierownik ds. dostosowania firmy Anthropic twierdzi, że ryzyko jest realne
Tym, co sprawia, że odejście Coxona jest bardziej niezręczne dla Anthropic, jest to, kto się z nim zgodził.
Evan Hubinger, kierownik naukowy ds. wyrównania w firmie Anthropic, kilka godzin po rezygnacji publicznie poparł główne obawy Coxona. Według Forbesa Hubinger powiedział, że badacze Anthropic „naprawdę wierzą”, że sztuczna inteligencja może zabić wszystkich ludzi i że osobiście widzi ponad 10 procent szans na taki wynik w ciągu następnej dekady.
Szacunki Hubingera są subiektywnym prawdopodobieństwem, a nie konsensusem naukowym — przypuszczenia większości badaczy na temat skrajnego ryzyka związanego ze sztuczną inteligencją są bardzo zróżnicowane. Jednak fakt, że kierownik laboratorium zajmujący się zestrojeniem zwiększa dwucyfrowe prawdopodobieństwo katastrofalnych skutków, podczas gdy to samo laboratorium ściga się z dostarczaniem bardziej wydajnych modeli, jest napięciem, na które wskazuje Coxon.
Schemat odejścia ze względów bezpieczeństwa
Rezygnacja to co najmniej drugie w tym roku głośne odejście badacza antropicznego zajmującego się bezpieczeństwem. W lutym Semafor poinformował, że inny badacz bezpieczeństwa antropicznego odszedł, ostrzegając, że świat jest „w niebezpieczeństwie”.
Historycznie rzecz biorąc, laboratoria graniczne argumentowały, że najbezpieczniejszym rozwiązaniem jest samodzielne zbudowanie wydajnych systemów i zrozumienie ich od środka. Stanowisko Coxona odwraca tę logikę: powiedział dziennikowi „Journal”, że doszedł do wniosku, że żadnemu laboratorium pod obecną presją konkurencji nie można ufać, że dokona samoregulacji. Każde takie odstępstwo zawęża granicę pomiędzy tymi dwoma stanowiskami.
Co właściwie oznacza „samodoskonaląca się superinteligencja”.
W poście Coxona na X użyto wyrażenia „samodoskonaląca się superinteligencja”, termin, który zasługuje na rozpakowanie. Odnosi się do hipotetycznego etapu rozwoju sztucznej inteligencji, na którym modele mogą przyczynić się do – i ostatecznie zautomatyzować – same badania wykorzystane do zbudowania ich następców. W tym momencie, jak argumentują zwolennicy, postęp może gwałtownie wzrosnąć, a ludzki nadzór może mieć trudności z dotrzymaniem kroku.
To, czy obecne systemy zbliżają się do tego progu, jest przedmiotem zaciekłych sporów. Nie ulega wątpliwości, że laboratoria wyraźnie pracują nad sztuczną inteligencją, która przyspiesza badania nad sztuczną inteligencją; OpenAI, Anthropic i Google DeepMind opisują zautomatyzowane badania jako cel krótkoterminowy. Coxon argumentuje, że do samego celu dąży się zbyt szybko, aby po drodze zapewnić mu bezpieczeństwo.
Co stanie się dalej
W praktyce rezygnacja Coxona niewiele zmienia w planowanych na najbliższe miesiące treningach. Jednak optyka jest trudna dla branży, która prosi rządy i społeczeństwo o zaufanie: badacz przeszkolony w obu wiodących amerykańskich laboratoriach oraz kierownik ds. osiowania w jednym z nich twierdzą obecnie, że wyścig przekroczył swoje kontrole bezpieczeństwa.
Organy regulacyjne w Kalifornii i Brukseli już analizują pionierskie praktyki sztucznej inteligencji. Można się spodziewać, że stwierdzenia Coxona – i szacunki prawdopodobieństwa Hubingera – pojawią się w tych debatach. I spodziewaj się, że każde przyszłe zdarzenie związane z bezpieczeństwem będzie porównywane ze standardowym zestawem Coxona w tym tygodniu: jeśli osoby wtajemniczone będą tak zaniepokojone, opinia publiczna rozsądnie zapyta, dlaczego wyścig wciąż trwa.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
