Firma Anthropic opublikowała badania pokazujące, że zautomatyzowane systemy sztucznej inteligencji mogą niezawodnie naprawiać błędy w wyrównaniu modelu, co może zmienić sposób wykonywania prac związanych z bezpieczeństwem w centrum branży sztucznej inteligencji. Artykuł zatytułowany „Zautomatyzowani badacze mogą niezawodnie łagodzić błędy w osiowaniu” został opublikowany w piątek i szczegółowo opisany przez TechCrunch.
Badania pochodzą z programu stypendialnego Anthropic i były prowadzone przez Chen Yueh-Hana. Jej główne twierdzenie jest uderzające: kiedy zautomatyzowane systemy badawcze firmy zostały skierowane na dziesięć punktów odniesienia mierzących określone, niedopasowane zachowania, poprawiły wydajność w każdym z nich – bez pogarszania ogólnych możliwości modelu. Jak na dziedzinę, która miała trudności z utrzymaniem bezpieczeństwa na poziomie skali modelu, jest to godny uwagi wynik. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.
Historia pojawiła się podczas pracowitego okresu związanego z zapewnieniem bezpieczeństwa AI. Następuje po lecie, podczas którego niewłaściwe zachowanie agentów zdominowało pierwsze strony gazet, od wewnętrznego raportu OpenAI na temat agentów hakujących nagrody po wezwania do przeprowadzenia niezależnych dochodzeń w sprawie naruszenia zasad Hugging Face. W nowym artykule Anthropic podchodzi do problemu od drugiej strony: zamiast pytać, w jaki sposób agenci zachowują się niewłaściwie, zadaje pytanie, czy można zaufać innym agentom, którzy je naprawią.
Co właściwie podaje gazeta
System opisany w artykule nosi nazwę Automated Alignment Researcher, w skrócie AAR. Zamiast zastępować proces badawczy, AAR powiela jego znaczną część: każdy zautomatyzowany system przeszukuje dostępną literaturę, proponuje metodę i szkoli model przy użyciu tej metody przez około 30 minut. Następnie proces powtarza się w kilku iteracjach.
Mechanizm selekcji jest prosty. Metody, które przesuwają benchmark, zostają zachowane; metody, które tego nie robią, są odrzucane. Pętla ta pozwala systemowi działać szybko i na skalę, której nie dorównuje żadnemu ludzkiemu zespołowi, testując równolegle wiele kierunków badań i zachowując tylko to, co się sprawdza.
Według gazety wyniki były spójne we wszystkich obszarach. We wszystkich dziesięciu testach porównawczych obejmujących określone zachowania związane z niedopasowaniem, zautomatyzowane systemy zapewniły wymierne ulepszenia bez szkody dla ogólnej wydajności modelu – co jest typowym kompromisem, który utrudnia pracę nad dopasowywaniem.
„Ogólnie rzecz biorąc, wyniki te dostarczają wczesnych dowodów na to, że automatyczne ustawianie parametrów po szkoleniu może stać się praktyczne w najbliższej przyszłości” – stwierdza artykuł.
Pokonanie ludzi za 1/37 ceny
Najczęściej cytowane fragmenty artykułu to te, w których porównuje się AAR bezpośrednio z jego ludzkimi odpowiednikami. Anthropic nie uchylił się od porównania.
„Najlepsza metoda AAR przewyższa tę, którą proponują doświadczeni ludzie, średnio w ciągu sześciu godzin” – czytamy w artykule. Dodaje wyraźnie, że „kierunki badań kierowane przez człowieka nie prowadzą do lepszych wyników”.
Ekonomia jest równie tępa. „AAR kosztuje około 4 dolarów za godzinę wnioskowania API w porównaniu ze 150 dolarami za godzinę, które płacimy naszym badaczom” – piszą autorzy. Stanowi to prawie 40-krotną różnicę w kosztach i wyjaśnia, dlaczego laboratoria poważnie traktują zautomatyzowane badania jako coś więcej niż ciekawostkę.
Dlaczego różnica w kosztach ma znaczenie
Badania nad wyrównaniem są kosztowne i łatwe do przecenienia. Każda interwencja kandydata musi zostać wdrożona, przeszkolona i oceniona w oparciu o punkty odniesienia, a większość kandydatów kończy się niepowodzeniem. Jeśli system może stale uruchamiać tę pętlę wyszukiwania za cenę wywołań API, koszt krańcowy wypróbowania jeszcze jednego pomysłu zbliża się do zera. Ograniczenie przesuwa się z liczby pracowników na obliczenia.
Ograniczenia antropiczne same w sobie oznaczone
Gazeta szczerze mówi o tym, czego nie ustalono w wyniku. Zautomatyzowany system działa tylko wtedy, gdy punkty odniesienia faktycznie odzwierciedlają istotne cele dostosowania, a tworzenie i utrzymywanie punktów odniesienia, które wychwytują niewłaściwe zachowania w świecie rzeczywistym, pozostaje otwartym problemem w tej dziedzinie.
Istnieje również zależność, którą łatwo przeoczyć: zautomatyzowani badacze czerpią z istniejącej literatury metod. Utrzymywanie i poszerzanie tej literatury samo w sobie jest znaczącą pracą, a system, który jedynie remiksuje znane techniki, może sięgnąć sufitu, którego nie osiągnęłaby ludzka kreatywność.
Zastrzeżenia te mają znaczenie, ponieważ od nich zależy długoterminowe znaczenie badań. Jeśli benchmarki mierzą niewłaściwe rzeczy, roczna stopa zwrotu może zoptymalizować swoją drogę do mocnych liczb, nie wpływając na podstawowe ryzyko. Sformułowanie Anthropic – „wczesne dowody”, a nie rozwiązanie – odzwierciedla tę niepewność.
Krok w kierunku rekurencyjnego samodoskonalenia
Artykuł stanowi także wkład w szerszą debatę na temat rekurencyjnego samodoskonalenia oraz koncepcji, że systemy sztucznej inteligencji mogą ostatecznie ulepszyć same procesy szkoleniowe, które je wytwarzają. Trenowanie modeli sztucznej inteligencji za pomocą innych modeli sztucznej inteligencji stało się popularnym celem pionierskich laboratoriów, a efektem projektu Anthropic jest wczesne, konkretne spojrzenie na to, jak to wygląda w wąskiej dziedzinie.
Logika jest prosta. Jeżeli modele będą w stanie w sposób niezawodny ulepszyć własne szkolenie w zakresie osiowania, te same maszyny można z dużym prawdopodobieństwem zastosować w szerzej rozumianych praktykach szkoleniowych – włączając pracę nad zdolnościami. TechCrunch zwraca uwagę na sugestię, że badacze sztucznej inteligencji mogą w końcu stać się mniej ważni w procesie, co jest możliwością, którą sam artykuł uwzględnia, a nie której unika.
Co obejrzeć dalej
Trzy pytania zadecydują, czy wynik ten będzie uogólniał. Po pierwsze, czy podejście wykracza poza dziesięć punktów odniesienia przetestowanych przez firmę Anthropic, w przypadku trybów awarii, które są bardziej chaotyczne i mniej dobrze zdefiniowane. Po drugie, czy problem utrzymania benchmarku można rozwiązać wystarczająco szybko, aby zautomatyzowane badania były uczciwe. Po trzecie, czy inne laboratoria publikują porównywalne wyniki, co spowodowałoby, że pojedynczy artykuł stałby się kierunkiem dla branży.
Na razie wnioski są wąskie, ale realne: w przypadku konkretnych zadań dopasowywania testowanych metodą antropiczną zautomatyzowani badacze osiągali lepsze wyniki niż doświadczeni ludzie, szybciej i znacznie taniej. Bezpieczeństwo w branży sztucznej inteligencji może być pierwszym miejscem, w którym badacze sztucznej inteligencji – a nie ludzie – wykonują większość pracy.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
