John Schulman umieszcza rekurencyjne samodoskonalenie za 3–4 lata w szczerej debacie na temat sufitu sztucznej inteligencji

John Schulman, współzałożyciel OpenAI, który obecnie pełni funkcję głównego naukowca w Thinking Machines, powiedział, że spodziewa się rekurencyjnego samodoskonalenia – systemów sztucznej inteligencji przyspieszających swój własny rozwój – za około trzy do czterech lat, co plasuje go wśród bardziej agresywnych prognostów w tej dziedzinie. Schulman podał szacunki podczas opublikowanego w piątek odcinka podcastu Dwarkesh Podcast przy okrągłym stole, podczas którego trzech badaczy z pionierskich laboratoriów otwarcie debatowało, jak blisko granicy jest branża.

Rozmowa umożliwiła rzadkie, nieuważne spojrzenie na to, jak badacze z pogranicza myślą o postępie, przybywając w hałaśliwym tygodniu, w którym dyrektor generalny Nvidii Jensen Huang oznajmił, że „nadeszło AGI”, a grupa 25 medalistów Fields ostrzega, że ​​pogoń za wzorcami sztucznej inteligencji szkodzi matematyce. Dla czytelników śledzących najnowsze osiągnięcia AI ten odcinek stanowi użyteczną przeciwwagę: to ludzie budujący systemy i ostro się ze sobą nie zgadzają.

Kto był przy stole

Gospodarz Dwarkesh Patel powiedział, że zmontował panel, ponieważ goście pracują w, jak to określił, „w pewnym stopniu otwartych laboratoriach i firmach”, co oznacza, że mogą przemawiać na nagraniu. Do Schulmana dołączyli Beren Millidge, dyrektor ds. technologii w Zyphra, startupie rozwijającym modele typu open source, oraz Charlie O'Neill, szef szkolenia modelek w Baseten.

Referencje Schulmana nadają jego przemowom o osi czasu szczególną wagę. Był współzałożycielem OpenAI i kierował procesem uczenia się przez wzmacnianie na podstawie badań opinii ludzkich, w wyniku których opracowano techniki stojące za ChatGPT, zanim odszedł do Thinking Machines, gdzie obecnie pełni funkcję głównego naukowca.

Argument przeciwko osobliwości, stalowy

Patel rozpoczął od ostrego pytania: jeśli nadejdzie rok 2036 bez miliardów superinteligentnych systemów zmieniających świat, jaki będzie powód techniczny? Millidge przedstawił najmocniejszy argument za sceptycyzmem, opisując coś, co nazwał wzorcem przypominającym niemal paradoks Moraveca, w którym modele osiągają najlepsze wyniki niezależnie od kryteriów, jakie przed nimi stawiają badacze, a mimo to wpływ w świecie rzeczywistym rozczarowuje.

„Nadal istnieje pewna trwała luka między symulacją a rzeczywistością, która w jakiś sposób wszystko blokuje” – powiedział Millidge, opisując świat, w którym sztuczna inteligencja staje się „niezwykle dobra we wszystkim, co ludzie uwzględniają w benchmarkach”, bez dalszego uogólniania. Dodał, że uważa taki wynik za mało prawdopodobny, wskazując na dowody na to, że uczenie się przez wzmacnianie ma już zastosowanie w praktyce.

Schulman w dużej mierze zgodził się, że postęp nie następuje automatycznie. Stwierdził, że ludzie mają realną przewagę nad dzisiejszymi modelami, a każda nowa wersja modelu nadrabia zaległości w niektórych obszarach, podczas gdy w innych pozostaje wąskim gardłem – jest to wzorzec, który zdefiniował kilka ostatnich cykli produktowych.

Szybkie ramy czasowe: dwa lata, trzy do czterech, pięć do dziesięciu

Kiedy Patel nacisnął cyfry, panel się rozdzielił. Zapytany, kiedy sztuczna inteligencja może zapewnić dziesięciokrotny wzrost produktywności kompetentnego pracownika umysłowego, Schulman najpierw odmówił podania pojedynczej liczby, a następnie odpowiedział: „Powiedziałbym, że dwa lata”. Millidge stwierdził, że „w pewnym sensie to widzi”, argumentując, że w przypadku niektórych kategorii pracy zysk już przekracza 10-krotność. O'Neill był najbardziej konserwatywny, odpowiadając „od 5 do 10” lat.

Następnie Patel posunął się dalej, charakteryzując scenariusz jako „w zasadzie po prostu ASI”. Odpowiedź Schulmana: „Powiedziałbym 3–4 lata”, dodając, że automatyzacja samych badań nad sztuczną inteligencją „nie jest jedną z najtrudniejszych rzeczy dla sztucznej inteligencji, ponieważ wymaga dużej ilości” pracy, którą mogą już wykonać obecne techniki. Wymiana ta była godna uwagi ze względu na niewielki sprzeciw innych badaczy w stosunku do szacunków.

Jak faktycznie byliby szkoleni zautomatyzowani badacze

Znaczna część odcinka dotyczyła mechaniki scenariusza, który wyceniał Schulman. Zapytany, w jaki sposób będą szkolone systemy sztucznej inteligencji zdolne do automatyzacji badań nad sztuczną inteligencją, Schulman opisał „pewną kombinację uczenia się na podstawie informacji zwrotnych od ludzi, aby wchłonąć gust badaczy, i po prostu tworzenia wielu środowisk praktycznych obejmujących prowadzenie wieloetapowych badań”.

Odpowiedź ta wiąże się z tym, na co idą pieniądze branży. Niedawno sfinalizowana umowa Google z Mechanize, startupem tworzącym symulowane środowiska pracy dla agentów szkoleniowych, dokładnie odzwierciedla założenie, że lepsze pola szkoleniowe – a nie tylko większe modele – zapewnią kolejną rundę wzrostu możliwości. Schulman wskazał również na podstawową trudność: funkcje nagradzania zbudowane na danych naturalnych są trudne do określenia, a powierzchowne sygnały, takie jak to, czy użytkownik zaakceptował edycję kodu, mogą wprowadzić w błąd szkolenie.

Destylacja a centralizacja

Jedna z najbardziej konkretnych przewidywań Schulmana dotyczyła struktury przemysłu. „Sądzę, że destylacja to główna metoda walki z siłą centralizującą” – stwierdził, argumentując, że umiejętności nabyte w drodze uczenia się przez wzmacnianie można stosunkowo łatwo przenieść do mniejszych modeli, rozprzestrzeniając kompetencje o charakterze pionierskim poza nieliczne firmy, które mogą sobie pozwolić na odnośne szkolenia.

W kwestii tego, co pozostaje człowiekowi, Schulman był kategoryczny. „Powiedziałbym, że ostatnim zadaniem człowieka lub rolą, która wytrzyma najdłużej, jest zdefiniowanie celu i podjęcie decyzji, czego tak naprawdę chcemy” – powiedział. Kiedy Patel podsumował, że „dostosowanie jest ostatecznym zadaniem”, Schulman zgodził się: „Dostosowanie jest rodzajem odpowiedzi”, zauważając jednocześnie, że rozkłada się ono na określenie właściwego celu, a następnie faktyczne jego osiągnięcie.

Gdzie odcinek pasuje do debaty na osi czasu

Podtytuł odcinka – „Nie jesteśmy blisko sufitu” – oddaje jego ogólny wydźwięk: badacze widzą przed sobą znaczny pas startowy, nawet jeśli kwestionują, jak wyboista będzie ścieżka. Dyskusja dotyczyła tego, co napędza postęp chińskich laboratoriów, czy długoterminowe uczenie się przez wzmacnianie może wywołać ogólną inteligencję i dlaczego RL zaczęło działać tak dobrze.

W tym miesiącu ze wszystkich stron nasiliła się publiczna debata na temat terminów. Oświadczenie Huanga „AGI nadeszło” wywołało sceptycyzm ze strony analityków, którzy odczytali ją raczej jako uzasadnienie biznesowe niż twierdzenie naukowe, natomiast dyrektor generalny OpenAI Sam Altman powiedział pracownikom, że według Bloomberga firma jest otwarta na spowolnienie najnowocześniejszego rozwoju w miarę narastania obaw związanych z bezpieczeństwem. Trzy-czteroletnie okno Schulmana na rekursywne samodoskonalenie plasuje się gdzieś pomiędzy marketingiem a moratorium – szacunki robocze sporządzone przez osobę mającą doświadczenie w opracowywaniu technik, które obecnie stanowią podstawę tej dziedziny.

To, czy ma rację, będzie zależeć od pytań, które tylko zakreślił panel: czy uczenie się przez wzmacnianie nadal uogólnia się poza środowiska szkoleniowe i czy różnica między wynikami wzorcowymi a rzeczywistą wartością ekonomiczną w dalszym ciągu się zmniejsza.

Wyprzedź sztuczną inteligencję

Pionierscy badacze debatują publicznie nad ograniczeniami sztucznej inteligencji — śledź rozwój wydarzeń.

Przeczytaj więcej aktualności na temat sztucznej inteligencji w AI Buzz Wire