John Schulman sieht in der offenen Debatte über die Obergrenze der KI die rekursive Selbstverbesserung in drei bis vier Jahren auf sich

John Schulman, Mitbegründer von OpenAI und jetzt Chefwissenschaftler bei Thinking Machines, sagte, er erwarte eine rekursive Selbstverbesserung – KI-Systeme, die ihre eigene Entwicklung beschleunigen – in etwa drei bis vier Jahren, ein Zeitplan, der ihn zu den aggressiveren Prognostikern auf diesem Gebiet macht. Schulman gab die Schätzung während einer am Freitag veröffentlichten Roundtable-Folge des Dwarkesh-Podcasts bekannt, in der drei Pionierlaborforscher offen darüber debattierten, wie nahe die Branche tatsächlich an ihrer Obergrenze ist.

Das Gespräch bot einen seltenen unvoreingenommenen Blick darauf, wie Forscher nahe an der Grenze über Fortschritte denken, und fand inmitten einer lauten Woche statt, in der Nvidia-CEO Jensen Huang verkündete, dass „AGI angekommen ist“, und eine Gruppe von 25 Fields-Medaillengewinnern warnte, dass die Verfolgung von KI-Benchmarks der Mathematik schade. Für Leser, die die [neuesten KI-Entwicklungen] (https://aibuzzwire.news) verfolgen, ist die Episode ein nützliches Gegengewicht: Es handelt sich um Leute, die die Systeme bauen, und sie sind sich untereinander überhaupt nicht einig.

Wer war am Tisch?

Gastgeber Dwarkesh Patel sagte, er habe das Gremium zusammengestellt, weil die Gäste in „etwas offenen Labors und Unternehmen“ arbeiteten, was bedeutete, dass sie vertraulich sprechen könnten. Zu Schulman gesellten sich Beren Millidge, Chief Technology Officer bei Zyphra, einem Startup, das Open-Source-Modelle entwickelt, und Charlie O'Neill, Leiter der Modellschulung bei Baseten.

Schulmans Referenzen verleihen seinem Vortrag über den Zeitplan besonderes Gewicht. Er war Mitbegründer von OpenAI und leitete die Forschung zum verstärkten Lernen aus menschlicher Rückmeldung, die die Techniken hinter ChatGPT hervorbrachte, bevor er zu Thinking Machines wechselte, wo er jetzt als Chefwissenschaftler fungiert.

Der Fall gegen die Singularität, stahlbemannt

Patel begann mit einer gezielten Frage: Wenn das Jahr 2036 kommt, ohne dass Milliarden superintelligenter Systeme die Welt verändern, was wird der technische Grund gewesen sein? Millidge lieferte das stärkste Argument für Skepsis, indem er ein Muster beschrieb, das seiner Meinung nach fast an das Moravec-Paradoxon erinnert: Modelle übertreffen alle Maßstäbe, die ihnen die Forscher stellen, die Auswirkungen in der realen Welt sind jedoch enttäuschend.

„Es gibt immer noch eine hartnäckige Lücke zwischen Simulation und Realität, die irgendwie alles blockiert“, sagte Millidge und beschrieb eine Welt, in der KI „bei allem, was Menschen in einen Benchmark einbeziehen, extrem gut wird“, ohne weiter zu verallgemeinern. Er fügte hinzu, dass er dieses Ergebnis für unwahrscheinlich halte und verwies auf Beweise dafür, dass sich das Lernen durch Verstärkung bereits in der Praxis verallgemeinert.

Schulman stimmte weitgehend zu, dass Fortschritt nicht automatisch erfolgt. Der Mensch habe echte Vorteile gegenüber den heutigen Modellen, sagte er, und jede neue Modellversion holt in einigen Bereichen auf, während es in anderen weiterhin Engpässe gebe – das Muster, das die letzten Produktzyklen definiert habe.

Schnelle Zeitpläne: zwei Jahre, drei bis vier, fünf bis zehn

Als Patel nach Zahlen drückte, teilte sich das Gremium. Auf die Frage, wann KI einem kompetenten Angestellten eine Produktivitätssteigerung um das Zehnfache bescheren könnte, weigerte sich Schulman zunächst, eine einzige Zahl zu nennen, und sagte dann: „Ich würde sagen, zwei Jahre.“ Millidge sagte, er könne das „eigentlich erkennen“, und argumentierte, dass der Gewinn für einige Arbeitskategorien bereits das Zehnfache übersteige. O'Neill war am konservativsten und antwortete mit „5 bis 10“ Jahren.

Patel ging dann noch weiter und charakterisierte das Szenario als „im Grunde nur ASI“. Schulmans Antwort: „Ich würde sagen, 3-4 Jahre“ und fügt hinzu, dass die Automatisierung der KI-Forschung selbst „nicht zu den schwierigsten Aufgaben für KI gehört, weil sie viel Arbeit erfordert“, die mit aktuellen Techniken bereits bewältigt werden kann. Der Austausch zeichnete sich dadurch aus, dass die Schätzung bei den anderen Forschern kaum Widerstände hervorrief.

Wie automatisierte Forscher tatsächlich ausgebildet würden

Ein wesentlicher Teil der Episode befasste sich mit den Mechanismen des Szenarios, das Schulman einpreiste. Auf die Frage, wie KI-Systeme trainiert würden, die in der Lage seien, KI-Forschung zu automatisieren, beschrieb Schulman „eine Kombination aus Lernen aus menschlichem Feedback, um den Geschmack der Forscher aufzunehmen, und einfach der Schaffung vieler Übungsumgebungen, die die Durchführung mehrstufiger Forschung beinhalten.“

Diese Antwort hängt davon ab, wohin das Geld der Branche fließt. Der kürzlich abgeschlossene Deal von Google für Mechanize, ein Startup, das simulierte Arbeitsumgebungen für die Ausbildung von Agenten baut, spiegelt genau diese Wette wider, dass bessere Trainingsgelände – nicht nur größere Modelle – die nächste Runde der Leistungssteigerung vorantreiben werden. Schulman wies auch auf eine Kernschwierigkeit hin: Belohnungsfunktionen, die auf natürlichen Daten basieren, seien schwer zu spezifizieren, und oberflächliche Signale, etwa ob ein Benutzer eine Codeänderung akzeptiert habe, könnten das Training irreführen.

Destillation versus Zentralisierung

Eine der konkretesten Vorhersagen Schulmans betraf die Branchenstruktur. „Ich denke, die Destillation ist das Wichtigste, was gegen die zentralisierende Kraft ankämpft“, sagte er und argumentierte, dass durch Reinforcement Learning erlernte Fähigkeiten relativ einfach auf kleinere Modelle übertragen werden können, wodurch grenzüberschreitende Kompetenz über die wenigen Unternehmen hinaus verbreitet wird, die sich Grenztrainingsläufe leisten können.

Auf die Frage, was den Menschen bleibt, äußerte sich Schulman kategorisch. „Ich würde sagen, dass die letzte Aufgabe des Menschen oder die Rolle des Menschen, die am längsten bestehen bleibt, darin besteht, das Ziel zu definieren und zu entscheiden, was wir eigentlich wollen“, sagte er. Als Patel zusammenfasste: „Ausrichtung ist die letzte Aufgabe“, stimmte Schulman zu: „Ausrichtung ist sozusagen die Antwort“, stellte jedoch fest, dass sie sich auf die Suche nach dem richtigen Ziel und dessen tatsächliche Erreichung zerlege.

Wo die Episode in die Timeline-Debatte passt

Der Untertitel der Episode – „Wir sind nirgendwo in der Nähe der Decke“ – bringt den allgemeinen Tenor auf den Punkt: Forscher, die einen erheblichen Weg vor sich sehen, auch wenn sie darüber streiten, wie holprig der Weg sein wird. Die Diskussion drehte sich um die Frage, was den Fortschritt chinesischer Labore antreibt, ob langfristiges Verstärkungslernen allgemeine Intelligenz hervorrufen kann und warum RL so gut funktioniert.

Die öffentliche Debatte über die Zeitpläne hat sich in diesem Monat auf allen Seiten intensiviert. Laut Bloomberg stieß Huangs Ankündigung „AGI ist angekommen“ auf Skepsis bei Analysten, die darin eher ein Geschäftsszenario als eine wissenschaftliche Behauptung sahen, während der CEO von OpenAI, Sam Altman, den Mitarbeitern sagte, das Unternehmen sei offen für eine Verlangsamung der Spitzenentwicklung, da Sicherheitsbedenken zunehmen. Schulmans drei- bis vierjähriges Zeitfenster für rekursive Selbstverbesserung liegt irgendwo zwischen Marketing und Moratorium – eine funktionierende Schätzung von jemandem mit einer Erfolgsbilanz bei der Entwicklung der Techniken, die jetzt das Feld antreiben.

Ob er recht hat, hängt von den Fragen ab, die das Gremium nur umkreiste: ob Reinforcement Learning über seine Trainingsumgebungen hinaus immer weiter verallgemeinert wird und ob sich die Lücke zwischen Benchmark-Leistung und realem wirtschaftlichen Wert weiterhin schließt.

Bleiben Sie der KI immer einen Schritt voraus

Pionierforscher debattieren öffentlich über die Grenzen der KI – verfolgen Sie die Entwicklung der Geschichte.

Lesen Sie weitere KI-Neuigkeiten auf AI Buzz Wire