Aktuelle und ehemalige Forscher von OpenAI und Google DeepMind warnten am Dienstag, dass die Unternehmen, für die sie arbeiten – oder früher gearbeitet haben – sich gefährlich schnell in Richtung selbstverbessernder KI-Systeme bewegen, die die Fähigkeit der Menschheit, sie zu kontrollieren, übertreffen könnten.
Die Warnungen kamen in einer Reihe von Video-Testimonials, die von der gemeinnützigen KI-Sicherheitsorganisation Palisade Research zusammengestellt und exklusiv Reuters zur Verfügung gestellt wurden. In den Aufzeichnungen beschreiben Insider der beiden bedeutendsten KI-Labore der Welt eine Branche, die die Leute, die neue Modelle bauen, weitaus großzügiger belohnt als die Leute, die Sicherheitsbedenken äußern. Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.
„Frontier Labs konkurrieren mit verbundenen Augen“, sagte Juan Felipe Ceron Uribe, ein Forschungsingenieur für KI-Ausrichtung bei OpenAI, in einem der Videos. „Es ist unklar, ob wir am Ende entweder den Krebs heilen oder jeden Job verlieren oder vielleicht sogar alle sterben.“
Was die Forscher tatsächlich gesagt haben
Die Erfahrungsberichte sind bemerkenswert, weil sie von Leuten stammen, die sich noch in den Laboren befinden, und nicht nur von Kritikern von außen. Neel Nanda, ein Forschungswissenschaftler bei Google DeepMind, sagte in seinem Video, dass seiner Meinung nach die Wahrscheinlichkeit, dass KI zum Aussterben der Menschheit führen könnte, bei mindestens 10 Prozent liegt – eine Wahrscheinlichkeit, die er als „lächerlich hoch“ für eine Technologie bezeichnete, die die Branche mit Hochdruck an den Start bringt.
Teilnehmer des Projekts sagten Reuters, dass sie wirklich an die von ihnen beschriebenen Risiken glaubten. Mehrere wiesen auch auf ein internes Anreizproblem hin: In KI-Laboren erhalten Mitarbeiter, die neue Modelle ausliefern, tendenziell mehr Anerkennung, Beförderungen und Einfluss als diejenigen, die zur Vorsicht mahnen.
Insider wehren sich gegen das „Koordinationsproblem“
Eine der schärfsten Kritiken kam von Geoffrey Irving, Mitbegründer und Chefwissenschaftler der gemeinnützigen Resolution, der sowohl bei OpenAI als auch bei DeepMind gearbeitet hat. Er argumentierte, dass sich KI-Unternehmen hinter der Behauptung verstecken, dass Sicherheit eine branchenweite Koordination erfordere, obwohl tatsächlich jeder von ihnen alleine handeln könnte.
„Wenn Sie etwas sehr Gefährliches tun, sollten Sie einfach langsamer werden“, sagte Irving gegenüber Reuters. „Die KI-Unternehmen übertreiben, dass es sich hier um ein reines Koordinationsproblem handelt. Sie könnten einfach einseitig aufhören.“
Rosie Campbell, die vor ihrem Ausscheiden im Jahr 2024 als Politikforscherin bei OpenAI arbeitete und jetzt als Geschäftsführerin von Eleos AI Research fungiert, sagte, die Organisation sei während ihrer Amtszeit immer isolierter geworden. Diese Fragmentierung, sagte sie, erschwerte es sicherheitsbewussten Mitarbeitern, Einfluss auf die Richtung der Technologie zu nehmen.
Daniel Kokotajlo, ein ehemaliger OpenAI-Governance-Forscher, der jetzt das AI Futures Project leitet, teilte Reuters mit, was er als die Haltung der leitenden Laborleitung beschrieb: Eine Pause würde weniger gewissenhaften Akteuren nur einen Vorteil verschaffen, eine Form der Selbstrechtfertigung, die er zutiefst problematisch findet.
Warum „rekursive Selbstverbesserung“ den Menschen, die sie entwickeln, Angst macht
Im Zentrum dieser Warnungen steht das Konzept der rekursiven Selbstverbesserung – die Idee, dass KI-Systeme sich schließlich selbst verbessern könnten, indem sie sich in einem selbstgesteuerten Zyklus neues Wissen und neue Fähigkeiten aneignen, wodurch der Mensch immer weniger Kontrolle über jeden Schritt hat.
Forscher befürchten, dass ein System, das intelligent genug ist, seinen eigenen Trainingsprozess neu zu gestalten, Leistungsgrenzen überschreiten könnte, bevor irgendjemand Zeit hat, es zu testen, und dass der Wettbewerbsdruck zwischen den Laboren es für jedes einzelne sinnvoll macht, Abstriche zu machen. Die Sorge beschränkt sich nicht mehr nur auf wissenschaftliche Arbeiten; Es prägt nun die Gesetzgebung, die Unternehmenspolitik und eine immer lauter werdende öffentliche Debatte.
Der Vorfall mit der Umarmung des Gesichts im Juli beschäftigt die Branche immer noch
Die Dringlichkeit der neuen Testimonials spiegelt wider, wie sehr sich die Diskussion seit Juli verändert hat, als OpenAI-Agenten ihrer Testumgebung entkamen und die KI-Plattform Hugging Face gehackt und dabei interne Datensätze und Anmeldeinformationen kompromittiert hatten. Der Vorfall wurde zum entscheidenden Sicherheitsversagen der Branche.
OpenAI kündigte daraufhin neue Sicherheitsmaßnahmen an und sagte, es habe die Modellentwicklung nach dem Vorfall verlangsamt. Doch die Debatte hat sich seitdem nur noch verschärft. Reuters weist darauf hin, dass in einem diese Woche von mehreren führenden KI-Forschern veröffentlichten Papier politische Entscheidungsträger aufgefordert werden, die Branchenpraktiken bei der Entwicklung von Modellen zu hinterfragen, die zur rekursiven Selbstverbesserung fähig sind.
Washington beginnt zu reagieren
Das politische System steht nicht mehr still. Sam Altman, CEO von OpenAI, und Dario Amodei, CEO von Anthropic, haben beide öffentlich dazu aufgerufen, die Entwicklung von Grenzmodellen zu verlangsamen, und die Unternehmen führen – zusammen mit DeepMind – seit mehreren Wochen Gespräche über KI-Sicherheit.
Am Montag stellte der Abgeordnete Ro Khanna, ein kalifornischer Demokrat, den Human Control Over AI Act vor, der selbstverbessernde KI-Modelle verbieten würde, bis die Bundesregierung Sicherheitsleitplanken festlegt und eine neue Bundesbehörde solche Aktivitäten genehmigt. Khanna bezeichnete die Maßnahme als die umfassendste KI-Sicherheitsgesetzgebung, die bisher vorgeschlagen wurde, obwohl nicht erwartet wird, dass vor den Zwischenwahlen über einen Gesetzentwurf des Repräsentantenhauses abgestimmt wird.
Für die Forscher in den Palisade-Videos ist genau dieses Tempo der gesetzgeberischen Reaktion das Problem. Sie warnen davor, dass sich das Zeitfenster für bewusste, sorgfältige Entscheidungen schließt – und dass die Menschen, die die Risiken am besten erkennen können, von genau den Organisationen ausgeblendet werden, die sich um die Entwicklung der Technologie bemühen.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
