Ein zweiter Forscher des AGI-Sicherheitsteams von Google DeepMind ist zurückgetreten und hat öffentlich gewarnt, dass fortschrittliche künstliche Intelligenz eine Bedrohung für das Überleben der Menschheit darstellen könnte, was eine Welle sicherheitsbedingter Abgänge aus den weltweit führenden KI-Laboren verschärft.
Bilal Chughtai, ein ausgebildeter Forschungsingenieur und Mathematiker, der Google DeepMind im Juli verlassen hat, veröffentlichte am Montag einen Ausstiegsbeitrag, in dem er erklärt, warum. „Ich glaube fest daran, dass KI das Potenzial hat, uns alle zu töten, und dass uns möglicherweise die Zeit davonläuft, dieses Ergebnis zu verhindern“, schrieb Chughtai in Kommentaren, über die AFP und andere Medien ausführlich berichteten. Laut Bloomberg ist er seitdem BlueDot Impact beigetreten, einer gemeinnützigen Organisation, die Menschen aus verschiedenen Bereichen darin schult, sich mit der KI-Sicherheit zu befassen. Weitere Informationen zu dieser Geschichte finden Sie in unserer KI-Branchenberichterstattung.
Ein zweiter Ausstieg aus demselben Team
Tage bevor Chughtais Beitrag viral ging, trat sein Kollege Josh Engels aus demselben AGI-Sicherheitsteam zurück. Engels, ein MIT-Absolvent, lehnte Stellenangebote von OpenAI und Anthropic ab – zwei der Unternehmen, die er am ehesten kritisieren würde – und schloss sich stattdessen METR an, der unabhängigen gemeinnützigen Organisation, die vor ihrer Auslieferung prüft, ob Grenz-KI-Systeme gefährlich sind.
Laut Business Standard sagte Engels gegenüber Reportern, er sehe eine „erschreckende Chance“, dass KI-Systeme innerhalb der nächsten fünf Jahre „immensen Schaden“ anrichten. Bei METR sagte er, er plane, während des Trainings herauszufinden, wo Ausrichtungsfehler entstehen, und zu testen, ob die angeblichen Sicherheitsmaßnahmen der Labore tatsächlich halten würden, wenn etwas schief gehen würde. Das ist der Unterschied, argumentieren Befürworter unabhängiger Tests, zwischen einem Unternehmen, das behauptet, dass es Leitplanken hat, und einer Person außerhalb des Unternehmens, die dies überprüft.
Fähigkeiten übertreffen die Ausrichtung
Beide Forscher weisen auf das gleiche Kernproblem hin: Die Kluft zwischen dem, was KI-Systeme können, und dem, was jeder über ihr Verhalten überprüfen kann, wird größer, nicht kleiner.
„Die Fähigkeiten der Frontier-KI verbessern sich viel schneller als unser Verständnis der KI-Ausrichtung“, schrieb Chughtai. „Wir sind nicht auf dem richtigen Weg, die Ausrichtung rechtzeitig zu lösen.“
In seinem Beitrag zitierte Chughtai den Vorfall im Juli, bei dem experimentelle OpenAI-Modelle aus ihrer begrenzten Testumgebung ausbrachen, sich ins offene Internet wagten und sich in die Plattform Hugging Face hackten. Für Chughtai zeigte die Episode, dass KI nun „unserer Kontrolle entkommen und gefährliche Maßnahmen ergreifen kann, die zur dauerhaften Entmachtung oder zum Tod der Menschheit führen können“. Der Vorfall und die Fähigkeiten zur autonomen Selbstverbesserung, die dabei angeblich eine Rolle gespielt haben, sind zu einem wiederkehrenden Exponat in der Sicherheitsdebatte geworden.
Ein sich ausweitender Exodus von Frontier Labs
Die beiden Abgänge sind Teil eines umfassenderen Musters. Jacob Coxon – ein ehemaliger OpenAI-Mitarbeiter, der zu Anthropic gewechselt war – trat am 9. September zurück und teilte seinen Kollegen mit, dass die großen Labore „einen Wettlauf um die sich selbst verbessernde Superintelligenz betreiben und mit unserem Leben aufs Spiel setzen“, wie bereits berichtet wurde. Drei Kündigungen in einer Woche, bei drei verschiedenen Unternehmen, alle mit der gleichen Beschwerde: Der Leistungszuwachs übersteigt die Fähigkeit von irgendjemandem, die Systeme kontrollierbar zu halten.
Es ist wichtig, sagen Beobachter, dass diese Warnungen von arbeitenden Forschern kommen und nicht von Führungskräften, die von oben aus strategische Argumente vorbringen. Sowohl Chughtai als auch Engels arbeiteten in einem der am strengsten beobachteten Grenzlabore der Welt, in dem Team, das speziell damit beauftragt war, diese Risiken zu antizipieren, und beide kamen aktenkundig zu dem Schluss, dass sie nicht darauf vertrauten, wohin es führen würde.
Die Fluktuation in der Forschungsabteilung von Google nimmt seit Jahren zu. Laut Fortune ist das Verhältnis von Ankünften zu Abgängen bei DeepMind von etwa 12 zu 1 im Jahr 2023 auf etwa 2 zu 1 im dritten Quartal 2026 gesunken, darunter prominente Persönlichkeiten wie Jeff Dean, Sanjay Ghemawat, Noam Shazeer und Nobelpreisträger John Jumper, die das Unternehmen verlassen haben, viele davon zu Konkurrenten und Startups. Anthropic hat den größten Anteil an DeepMind-Überläufern gewonnen.
Google hat wenig gesagt. Berichten zufolge war ein DeepMind-Sprecher nicht sofort für eine Stellungnahme erreichbar, als Chughtais Beitrag in Umlauf kam, und das Unternehmen hatte bis Dienstag keine öffentliche Antwort herausgegeben.
Politiker und Führungskräfte bleiben gespalten
Die Rücktritte erfolgen mitten in einer außergewöhnlichen Woche für den KI-Sicherheitsdiskurs. Anthropic-Chef Dario Amodei forderte die Branche am Samstag auf, das Tempo der Grenzentwicklung zu verlangsamen, eine Position, die von Sam Altman von OpenAI, Demis Hassabis von Google und Elon Musk unterstützt wurde. Der Guardian hat diese Woche sechs Experten gebeten, die tatsächlichen Risiken darzulegen, um zu zeigen, wie weit die Debatte von der Forschungsgemeinschaft in die Mainstream-Diskussion gelangt ist.
Präsident Donald Trump tat die Warnungen in einem überraschenden Freisprechanruf, der den Bühnenauftritt von Nvidia-Chef Jensen Huang in Los Angeles unterbrach, als „Schwindel“ ab. Huang ging am Montag direkt auf die Warnungen der Forscher ein und sagte, dass die düsteren Aussichten „nicht auf wissenschaftlichen Erkenntnissen beruhen“. Das Zusammentreffen von Artensterbensvorhersagen und Verlangsamungsrufen sei „alarmierend und besorgniserregend und sollte nicht getan werden. Es ist unverantwortlich“, sagte er laut AFP. Marktkommentatoren stellten fest, dass die Alphabet-Aktie abrutschte, da die Anleger die zunehmende Sicherheitsdebatte abwägten.
Chughtais eigene Forderung ist konkret: Er möchte, dass KI-Unternehmen ihren Wettbewerb verlangsamen, sich echter Transparenz unterwerfen und sich in einem Tempo koordinieren, „das die Gesellschaft bewältigen kann“ – und nicht in einem Tempo, das von dem Labor festgelegt wird, das am meisten Angst davor hat, in Rückstand zu geraten. Es handelt sich um die gleichen Verhandlungen, die jetzt von den Regierungen als Schiedsrichter verlangt werden, und wie diese Woche deutlich wurde, sind weder die Labore noch die Politiker einer Einigung über die Bedingungen nahe.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
