John Schulman stelt recursieve zelfverbetering drie tot vier jaar later in een openhartig debat over het plafond van AI

John Schulman, de medeoprichter van OpenAI en nu hoofdwetenschapper bij Thinking Machines, zei dat hij binnen ongeveer drie tot vier jaar recursieve zelfverbetering verwacht – AI-systemen die hun eigen ontwikkeling versnellen – een tijdlijn die hem tot de agressievere voorspellers in het veld plaatst. Schulman gaf de schatting tijdens een rondetafelaflevering van de Dwarkesh Podcast die vrijdag werd gepubliceerd, waarin drie grenslaboratoriumonderzoekers openlijk debatteerden over hoe dicht de industrie eigenlijk bij haar plafond zit.

Het gesprek bood een zeldzame, onbewaakte blik op hoe onderzoekers dicht bij de grens over vooruitgang denken, en kwam terecht in een luidruchtige week waarin Nvidia-topman Jensen Huang verklaarde dat "AGI is gearriveerd" en een groep van 25 Fields-medaillewinnaars waarschuwde dat het najagen van AI-benchmarks schadelijk is voor de wiskunde. Voor lezers die de laatste AI-ontwikkelingen volgen, is de aflevering een nuttig tegenwicht: dit zijn mensen die de systemen bouwen, en ze zijn het ernstig met elkaar oneens.

Wie zat er aan tafel?

Gastheer Dwarkesh Patel zei dat hij het panel had samengesteld omdat de gasten werken in wat hij 'enigszins open labs en bedrijven' noemde, wat betekent dat ze op de plaat konden spreken. Bij Schulman voegden zich Beren Millidge, chief technology officer bij Zyphra, een startup die open-sourcemodellen ontwikkelt, en Charlie O'Neill, hoofd modeltraining bij Baseten.

De geloofsbrieven van Schulman geven zijn tijdlijntoespraak bijzonder gewicht. Hij was medeoprichter van OpenAI en leidde het versterkende leerproces uit menselijk feedbackonderzoek dat de technieken achter ChatGPT voortbracht, voordat hij vertrok naar Thinking Machines, waar hij nu als hoofdwetenschapper fungeert.

De zaak tegen de singulariteit, staalbemand

Patel opende met een scherpe vraag: als 2036 aanbreekt zonder miljarden superintelligente systemen die de wereld transformeren, wat zal dan de technische reden zijn geweest? Millidge bracht het sterkste argument voor scepsis aan en beschreef wat hij een bijna Moravec-paradoxachtig patroon noemde, waarin modellen alle benchmarks die onderzoekers hen voorleggen overtreffen, maar de impact in de echte wereld teleurstelt.

“Er is nog steeds een hardnekkige kloof tussen sim en real die op de een of andere manier alles blokkeert”, zegt Millidge, terwijl hij een wereld beschrijft waarin AI “extreem goed wordt in alles wat mensen in een benchmark stoppen” zonder verder te generaliseren. Hij voegde eraan toe dat hij deze uitkomst onwaarschijnlijk acht, wijzend op bewijs dat versterkend leren in de praktijk al generaliseert.

Schulman was het er grotendeels mee eens dat vooruitgang niet automatisch is. Mensen hebben echte voordelen ten opzichte van de huidige modellen, zei hij, en elke nieuwe modelrelease haalt op sommige gebieden de achterstand in, terwijl ze op andere gebieden een knelpunt blijft – het patroon dat de laatste paar productcycli heeft gedefinieerd.

Snelle tijdlijnen: twee jaar, drie tot vier, vijf tot tien

Toen Patel op cijfers drukte, splitste het panel zich. Op de vraag wanneer AI een tienvoudige productiviteitsstijging zou kunnen opleveren voor een bekwame kantoormedewerker, weigerde Schulman eerst een enkel cijfer te geven en zei toen: "Ik zou zeggen twee jaar." Millidge zei dat hij dat 'eigenlijk wel kon zien', met het argument dat de winst voor sommige categorieën werk al meer dan 10x bedraagt. O'Neill was het meest conservatief en antwoordde "5 tot 10" jaar.

Patel ging vervolgens verder en typeerde het scenario als "in wezen gewoon KSI". Schulman's antwoord: "Ik zou zeggen 3-4 jaar", eraan toevoegend dat het automatiseren van AI-onderzoek zelf "niet een van de moeilijkste dingen voor AI is, omdat het veel" werk met zich meebrengt dat met de huidige technieken al kan worden aangepakt. De uitwisseling viel op door hoe weinig tegenslag de schatting van de andere onderzoekers kreeg.

Hoe geautomatiseerde onderzoekers daadwerkelijk zouden worden opgeleid

Een substantieel deel van de aflevering ging over de werking van het scenario waar Schulman rekening mee hield. Op de vraag hoe AI-systemen die AI-onderzoek kunnen automatiseren zouden worden getraind, beschreef Schulman 'een combinatie van leren van menselijke feedback om de smaak van de onderzoekers te absorberen, en gewoon het creëren van veel oefenomgevingen waarbij onderzoek in meerdere stappen moet worden gedaan.'

Dat antwoord houdt verband met waar het geld van de industrie naartoe gaat. De onlangs gesloten deal van Google voor Mechanize, een startup die gesimuleerde werkomgevingen bouwt voor het opleiden van agenten, weerspiegelt precies deze weddenschap dat betere oefenterreinen – en niet alleen grotere modellen – de volgende ronde van capaciteitswinst zullen opleveren. Schulman signaleerde ook een kernprobleem: beloningsfuncties die zijn gebouwd op natuurlijke gegevens zijn moeilijk te specificeren, en oppervlakkige signalen, zoals of een gebruiker een codebewerking heeft geaccepteerd, kunnen training misleiden.

Distillatie versus centralisatie

Een van Schulmans meest concrete voorspellingen had betrekking op de structuur van de industrie. "Ik denk dat destillatie het belangrijkste is dat strijdt tegen de centraliserende kracht", zei hij, met het argument dat capaciteiten die zijn geleerd door versterkend leren relatief gemakkelijk kunnen worden overgedragen naar kleinere modellen, waardoor grensoverschrijdende competentie wordt verspreid buiten de weinige bedrijven die zich grenstrainingen kunnen veroorloven.

Over de vraag wat er voor de mens overblijft, was Schulman categorisch. "Ik zou zeggen dat de laatste taak voor mensen, of de rol voor mensen die het langst zal duren, het definiëren van het doel is en beslissen wat we eigenlijk willen," zei hij. Toen Patel samenvatte: 'Afstemming is de laatste taak', was Schulman het daarmee eens: 'Afstemming is een soort van antwoord', terwijl hij opmerkte dat dit neerkomt op het uitzoeken van het juiste doel en het vervolgens daadwerkelijk bereiken ervan.

Waar de aflevering past in het tijdlijndebat

De ondertitel van de aflevering – ‘We zijn nog lang niet aan het plafond’ – geeft de algemene strekking weer: onderzoekers die een aanzienlijke landingsbaan voor zich zien, ook al betwisten ze hoe hobbelig het pad zal zijn. De discussie ging over de vraag wat de vooruitgang van Chinese laboratoria drijft, of het leren over versterking van de lange horizon algemene intelligentie kan opwekken, en waarom RL zo goed is gaan werken als nu.

Het publieke debat over tijdlijnen is deze maand aan alle kanten geïntensiveerd. De proclamatie van Huang 'AGI is gearriveerd' wekte scepsis bij analisten die het eerder als een business case dan als een wetenschappelijke claim lazen, terwijl Sam Altman, CEO van OpenAI, tegen het personeel zei dat het bedrijf openstaat voor het vertragen van de allernieuwste ontwikkelingen naarmate de veiligheidsproblemen toenemen, aldus Bloomberg. Schulmans drie tot vier jaar durende periode voor recursieve zelfverbetering ligt ergens tussen marketing en moratorium in – een werkschatting van iemand met een staat van dienst in het ontwikkelen van de technieken die nu in het veld worden gebruikt.

Of hij gelijk heeft, zal afhangen van de vragen die het panel alleen maar heeft omcirkeld: of versterkend leren zich buiten de trainingsomgevingen blijft generaliseren, en of de kloof tussen benchmarkprestaties en reële economische waarde steeds kleiner wordt.

Blijf AI een stap voor

Grensverleggende onderzoekers debatteren in het openbaar over de grenzen van AI – volg het verhaal terwijl het zich ontwikkelt.

Lees meer AI-nieuws over AI Buzz Wire