US-Militär hätte wegen KI-halluziniertem Geheimdienstbericht beinahe ein chinesisches Schiff geentert

Laut einem am Donnerstag veröffentlichten Exklusivbericht von CNN war das US-Militär gefährlich nahe daran, ein chinesisches Schiff abzufangen, basierend auf einem Geheimdienstbericht, der mit Hilfe eines KI-Chatbots erstellt wurde und sich als völlig falsch herausstellte.

Der Vorfall, der CNN von vier mit der Angelegenheit vertrauten Quellen geschildert wurde, begann Anfang des Frühlings – mitten im Krieg mit dem Iran –, als im US-Militär ein Bericht kursierte, in dem behauptet wurde, ein chinesisches Schiff im Nahen Osten transportierte Komponenten eines Atomwaffenprogramms. Der Bericht ließ sofort die Alarmglocken schrillen, und das Militär wurde aktiv und plante, das Schiff abzufangen. Um regelmäßig über Geschichten wie diese zu berichten, verfolgen Sie die Entwicklung der KI-Nachrichten.

Flugzeuge in der Luft, Boarding-Party bereit

Zwei Quellen von CNN zufolge bereiteten sich bewaffnete Angehörige des US-Militärs darauf vor, an Bord des Schiffes zu gehen. Laut einer Quelle waren bereits Militärflugzeuge in der Luft.

Erst kurz vor der geplanten Operation untersuchten die Beamten den Bericht, der von einem Analysten des Spezialeinsatzkommandos erstellt worden war, und stellten fest, dass er mit Hilfe künstlicher Intelligenz erstellt worden war und dass der Chatbot, den der Analyst verwendet hatte, das Material, das das Schiff transportierte, falsch identifiziert hatte. CNN berichtete, es sei nicht in der Lage herauszufinden, um welche fälschlicherweise identifizierte Fracht es sich tatsächlich handelte.

Eine Quelle bezeichnete den Bericht als „völlig falsch“. Außerdem, so die Quelle, habe es „fast einen Krieg angefangen“ – denn jede US-Operation gegen ein chinesisches Schiff hätte riskieren können, sich zu einem bewaffneten Konflikt zwischen den beiden Nationen zu entwickeln.

Wie die Falschmeldung entstand

Der Analyst hatte einen Chatbot nach Geheimdienstberichten zum Schiffsmanifest befragt, die vom US Special Operations Command Pacific mit Sitz in Hawaii stammten. CNN berichtete, es sei nicht klar, ob es sich bei dem Chatbot um ein kommerziell erhältliches Produkt oder um ein Tool der US-Regierung handele.

Der Bot kombinierte Open-Source-Informationen mit geheimen Signalinformationen in Regierungsbeständen und gelangte zu seiner schicksalhaften Schlussfolgerung über das Material an Bord des Schiffes. Anschließend nutzte der Analyst die KI ein zweites Mal, um die Ergebnisse in einen Standard-Geheimdienstbericht zu packen, wie er von Militärbeamten als vertrauenswürdig eingestuft wird, und verbreitete ihn im gesamten System.

Das US Special Operations Command Pacific und das Pentagon antworteten nicht auf die Bitte von CNN um einen Kommentar.

Ein militärischer Wettlauf um die Einführung von KI

Der Beinaheunfall ereignete sich zu einem Zeitpunkt, an dem Beamte des gesamten US-Militärs und der Geheimdienste darauf drängen, KI in fast jeden Aspekt ihrer Arbeit einzubinden – von der Analyse riesiger Mengen an Rohinformationen und der Auswahl von Zielen für Angriffe bis hin zu alltäglichen Anwendungen wie Budgetierung, Logistik und Lieferketten.

Im Januar veröffentlichte Verteidigungsminister Pete Hegseth die „Strategie zur Beschleunigung künstlicher Intelligenz“ des Ministeriums, die die Einführung von KI durch das Militär beschleunigen soll. „Wir werden Experimente starten, bürokratische Hürden beseitigen, unsere Investitionen fokussieren und den Umsetzungsansatz demonstrieren, der erforderlich ist, um sicherzustellen, dass wir in der militärischen KI führend sind“, sagte Hegseth in einer Rede, in der er die Strategie ankündigte.

Die Strategie fordert ausdrücklich eine Demokratisierung des Zugangs und weist das Ministerium an, „Amerikas weltweit führende KI-Modelle direkt in die Hände unserer drei Millionen Zivil- und Militärangehörigen aller Klassifizierungsstufen zu legen“.

Kein einheitliches Regelwerk

Aber die Bemühungen sind dezentralisiert, sagten mehrere US-Beamte gegenüber CNN, wobei verschiedene Teile der Regierung unterschiedliche Instrumente unter unterschiedlichen Anordnungen und Sicherheitsstandards nutzen. Es gibt keine einheitlichen Standards dafür, wie die USA die von diesen Tools generierten Informationen verifiziert, und die Zuverlässigkeit der verschiedenen Systeme ist sehr unterschiedlich.

„Bei den internen Tools handelt es sich größtenteils nur um Kopien des kommerziellen Zeugs, das Lippenstift trägt“, sagte ein ehemaliger hochrangiger US-Beamter, der mit den KI-Systemen vertraut ist, die von Militär- und Geheimdienstanalysten verwendet werden, gegenüber CNN.

Das KI-Targeting nimmt mit wenig Anleitung zu

Quellen sagten, das Militär greife schnell auf KI zurück, um bei der Zielerfassung zu helfen – ein Bereich, der offensichtlich das Risiko fataler Fehler birgt. „KI bei der Zielerfassung ist definitiv etwas, das auf dem Vormarsch ist, und es gibt keine wirkliche Anleitung dafür, wie die Einbeziehung eines Menschen zivile Opfer oder Brudermorde verhindern kann“, sagte eine andere Quelle, die mit der aktuellen Politik des Militärs vertraut ist, gegenüber CNN.

Analysten warnen seit langem, dass KI zu einer katastrophalen Fehleinschätzung beitragen könnte, wenn sich Nationalstaaten auf schlechte oder beschädigte Daten verlassen – genau die Art von Fehleinschätzung, die dazu hätte führen können, dass die Vereinigten Staaten auf der Grundlage ungenauer Informationen auf ein chinesisches Schiff feuerten.

Laut CNN war die Art von Halluzination hinter dem falschen Schiffsbericht kein Einzelfall in der Geheimdienstgemeinschaft, seit diese Tools durch die Regierung verbreitet wurden.

„KI ermöglicht es Ihnen, schneller zu einer schlechten Idee zu gelangen“

Seit Wochen debattieren die politischen Entscheidungsträger in Washington intensiv über KI, nachdem aus dem Silicon Valley eine Reihe düsterer Warnungen vor der Möglichkeit eingegangen sind, dass KI sich von menschlichen Zwängen lösen könnte. Aber die Episode mit dem chinesischen Schiff unterstreicht ein anderes und unmittelbareres Risiko: Menschen treffen katastrophale Entscheidungen auf der Grundlage ungenauer oder irreführender Informationen, die von KI-Systemen generiert werden.

Mehrere Quellen teilten CNN mit, dass insbesondere jüngere Analysten, die mit diesen Tools vertraut sind, ihnen eher unkritisch vertrauen und dass KI den Druck auf Analysten erhöht hat, Informationen schneller zu produzieren und zu verbreiten, was Tür und Tor für Fehler öffnet.

„KI ermöglicht es Ihnen, schneller zu einer schlechten Idee zu gelangen“, sagte eine der Quellen.

Die Episode wird wahrscheinlich eine bereits hitzige Debatte darüber anheizen, wie schnell das US-Militär KI in seine sensibelsten Arbeitsabläufe integrieren sollte und welche Überprüfungsschritte obligatorisch sein sollten, bevor KI-gestützte Berichterstattung Truppen, Flugzeuge und bewaffnetes Personal zu einem möglichen Kampfeinsatz bewegen kann. Die Details deuten vorerst darauf hin, dass es sich bei den vorhandenen Schutzmaßnahmen um einen Flickenteppich handelt – und dass in diesem Fall der Unterschied zwischen einem routinemäßigen Geheimdienstbericht und einem internationalen Vorfall auf Beamte zurückzuführen ist, die zufällig noch einmal nachgeprüft haben.

Bleiben Sie der KI immer einen Schritt voraus

Für weitere Berichte über KI-Politik, nationale Sicherheit und die Modelle, die beide prägen, lesen Sie weitere KI-Nachrichten.