Mehr als 20 Forscher – darunter Nobelpreisträger Geoffrey Hinton, sein KI-Pionierkollege Yoshua Bengio, Anthropic-Mitbegründer Jack Clark und OpenAI-Chefwissenschaftler Jakub Pachocki – haben Regierungen gewarnt, sich auf eine KI-„Intelligenzexplosion“ vorzubereiten, die ihrer Meinung nach die folgenreichste technologische Entwicklung in der Geschichte sein könnte, berichtete The Guardian am Montag.

Das Papier mit dem Titel „Was passiert, wenn die Automatisierung von KI-Forschung und -Entwicklung eine Intelligenzexplosion auslöst“ fordert die Politiker auf, zu handeln, bevor es zu rasanten Fortschritten in der Technologie kommt. Die Autoren beschreiben das Szenario als „dramatische KI-gesteuerte Beschleunigung des KI-Fortschritts, die Fortschritte, die sonst Jahre dauern würden, auf Monate oder weniger komprimiert“. Für Leser, die [die neuesten Nachrichten aus der KI-Forschung] verfolgen (https://aibuzzwire.news), ist der Bericht weniger wegen seiner Besorgnis als vielmehr wegen der Unterzeichner hervorzuheben: Zahlen aus der gesamten Wissenschaft und konkurrierenden Grenzlaboren, die gemeinsam argumentieren, dass automatisierte Forschung das Szenario ist, auf das die politischen Entscheidungsträger am wenigsten vorbereitet sind.

Was eine Geheimdienstexplosion bedeuten würde

Das zentrale Anliegen der Autoren ist die Aussicht, dass sich KI-Systeme ohne menschliches Eingreifen selbst verbessern – ein Prozess, der als rekursive Selbstverbesserung bekannt ist und in dem Artikel allgemein als automatisierte KI-Forschung und -Entwicklung bezeichnet wird.

Sobald KI-Systeme in der KI-Forschung und -Entwicklung die Fähigkeiten von Experten erreichen, könnte ein einzelner Entwickler eine Belegschaft leiten, die „Millionen“ menschlicher Spitzenforscher entspricht. Die Automatisierung der KI-Forschung und -Entwicklung ist nach Ansicht der Autoren der wahrscheinlichste Auslöser einer Intelligenzexplosion, da KI-Systeme bereits zur Verbesserung ihrer eigenen Technologie beitragen – und die verbesserten Systeme, die sie mitgestalten, nach ihrer Fertigstellung schnell eingesetzt werden können.

„Eine Geheimdienstexplosion könnte die folgenreichste technologische Entwicklung in der Geschichte der Menschheit sein, die jahrelange Fortschritte auf Monate oder weniger komprimiert, die menschliche Kontrolle über KI-Systeme gefährdet und die Machtkontrollen innerhalb und zwischen Staaten, Unternehmen und Regierungszweigen erheblich untergräbt“, heißt es in dem Papier laut The Guardian.

Warum die Autoren sagen, dass sich das Fenster schließt

Die Dringlichkeit des Berichts beruht auf einer zeitlichen Behauptung: KI-Systeme, die heute fehlerhaft erscheinen, könnten bis 2028 F&E-Projekte vollständig automatisieren, für die menschliche Teams derzeit Monate benötigen.

„Die Produktivitätsgewinne durch KI-F&E-Automatisierung haben noch nicht die Schwelle erreicht, die erforderlich ist, um eine Intelligenzexplosion auszulösen, aber die Gewinne neuerer Systeme nähern sich wahrscheinlich dieser Schwelle“, schreiben die Autoren. „Sobald eine Geheimdienstexplosion beginnt, kann sich das Fenster zum Handeln schließen.“

Das Papier fügt hinzu, dass „vorläufige Beweise darauf hindeuten, dass eine softwaregesteuerte Intelligenzexplosion möglich ist“, die zu einer „extrem schnellen Entwicklung hochleistungsfähiger oder übermenschlicher KI-Systeme“ führen könnte.

Die Risiken, auf die sie hinweisen

Während eine Geheimdienstexplosion zu medizinischen Durchbrüchen und schnellen Technologiesprüngen führen könnte, skizzieren die Autoren drei Hauptgefahren:

  • Unkontrollierte Bedrohungen. Leistungsstarke Systeme könnten biologische und Cyber-Bedrohungen ermöglichen, die sich schneller entwickeln als die Maßnahmen, die zu ihrer Abwehr erforderlich sind.
  • Kontrolle verloren. Da Menschen weniger in die KI-Forschung und -Entwicklung eingebunden werden, könnten sie die Möglichkeit verlieren, die von ihnen erstellten Systeme zu steuern und einzuschränken.
  • Strategische Instabilität. Staaten könnten eine Informationsexplosion nutzen, um einen bescheidenen Vorsprung – zum Beispiel im Cyberspace – in einen entscheidenden nationalen Vorteil umzuwandeln.

Der Bericht gibt offen zu, dass diese Auswirkungen „unsicher“ seien. Ein technologischer Durchbruch könnte einige Zeit in Anspruch nehmen, um bestimmte Lieferketten für spezielle Materialien oder behördliche Anforderungen umzusetzen, und KI-Systeme könnten auch die Geschwindigkeit beschleunigen, mit der Risiken gemindert werden.

Was Regierungen tun sollten

Die Autoren sagen, dass die Vorbereitung auf eine Geheimdienstexplosion „eine dringende Priorität sein sollte, auch auf den höchsten Ebenen der Regierungsführung“, und legen eine Reihe von Kandidatenrichtlinien fest:

  • Forderung nach transparenten Fortschrittsberichten über KI-bezogene Forschung und Entwicklung, einschließlich der Einbindung unabhängiger Prüfer in KI-Unternehmen
  • Begrenzen, wie schnell sich ein KI-System innerhalb eines bestimmten Zeitraums verbessern kann
  • Zusammenarbeit mit Rechenzentren, um die Pause bestimmter KI-Forschungs- und Entwicklungsprojekte zu ermöglichen
  • Sicherstellen, dass automatisierte KI-Forschungs- und Entwicklungssysteme vollständig isoliert sind und sich der menschlichen Kontrolle nicht entziehen können
  • Erstellen von „Notfallreaktionsplänen“ für die verschiedenen Szenarien, die eine Geheimdienstexplosion hervorrufen könnte

Die Vorschläge erweitern Ideen, die sich bereits in der westlichen KI-Politik bewegen – obligatorische Meldung von Vorfällen, Bewertung durch Dritte und Computer-Governance –, wenden sie jedoch auf einen bestimmten Endpunkt an: die Automatisierung der Forschung selbst.

Warum diese Autoren und warum jetzt

Die Unterzeichner verleihen dem Papier ungewöhnliches Gewicht. Hinton und Bengio sind zwei der „Paten“ der modernen KI, die für ihre grundlegende Arbeit zu neuronalen Netzen bekannt sind; Beide sind zu prominenten Stimmen geworden, die vor der Technologie warnen, die sie mitentwickelt haben. Clark ist Mitbegründer von Anthropic und Pachocki ist Chefwissenschaftler bei OpenAI.

Ihre Warnung landet inmitten einer messbaren Branchenbewegung in diese Richtung. Laut The Guardian produziert Anthropic inzwischen 80 % seines Codes selbst, während OpenAI autonome KI-Agenten in Bereichen wie dem Training neuer Modelle einsetzt. Beide Labore haben sich außerdem darauf geeinigt, ihre Modelle von unabhängigen Gutachtern bewerten zu lassen, nachdem sie gewarnt hatten, dass die KI-Entwicklung in Bezug auf die Sicherheit einen kritischen Punkt erreicht.

Ob die Regierungen in dem von den Autoren gewünschten Tempo vorgehen werden, ist eine andere Frage. Aber das Hauptargument des Papiers – dass der Zeitpunkt für den Einbau der Bremsen liegt, bevor das Auto sie braucht – wird jetzt von den Leuten unterstützt, die der Maschine am nächsten stehen.

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →