Google DeepMind kündigte am 27. August die sogenannte weltweit erste doppelblinde Evaluierung eines proprietären KI-Modells der Spitzenklasse an – ein kryptografisches Setup, mit dem externe Experten die Google-Modelle einem Stresstest unterziehen können, ohne dass eine Seite jemals die Geheimnisse der anderen sieht.
Das Pilotprojekt, das in einem DeepMind-Blogbeitrag von William Isaac, Sol Messing und Kristian Lum beschrieben wird, führt ein Gemini Flash Lite-Modell durch vertrauliche Benchmarks in einer kryptografisch sicheren Umgebung aus. Google DeepMind arbeitet bei diesem Vorhaben mit dem Singapore AI Safety Institute, OpenMined, AVERI und MLCommons zusammen und hat einen technischen Bericht veröffentlicht, der die Methodik beschreibt.
Die Ankündigung behebt eine der hartnäckigsten Schwächen bei der KI-Bewertung: die Benchmark-Kontamination. Für Leser, die KI-Forschungsnachrichten verfolgen, stellt dies einen der konkreteren Versuche dar, Modelltests von Drittanbietern nachweislich sauber zu machen.
Das Kontaminationsproblem, erklärt
DeepMind beginnt seine Ankündigung mit einer Klassenzimmer-Analogie. Wenn ein Student versehentlich die Prüfungsfragen im Voraus sieht, bedeutet ein perfektes Ergebnis nichts. Die gleiche Logik gilt für Grenzmodelle: Wenn ein Modell bereits den Fragen in einem Benchmark ausgesetzt war – durch Trainingsdaten, durchgesickerte Bewertungssätze oder vorherige Optimierung – können die resultierenden Ergebnisse die tatsächliche Leistungsfähigkeit massiv überbewerten.
Dies ist kein hypothetisches Problem. Benchmark-Kontaminationen sind seit Jahren auf diesem Gebiet ein Thema, wobei Forscher immer wieder zeigen, dass beliebte Testsätze in Web-Scale-Trainingskorpora eindringen und dass Modelle im Stillen so abgestimmt werden können, dass sie bei bekannten Auswertungen gut funktionieren. Wenn Regierungen und Unternehmen Benchmark-Scores verwenden, um Beschaffungs- und politische Entscheidungen zu treffen, haben überhöhte Zahlen reale Konsequenzen.
Je leistungsfähiger die Modelle werden, so argumentiert DeepMind, desto mehr steht bei sensiblen Bewertungskategorien auf dem Spiel – darunter vor allem Cybersicherheitstests und behördliche Bewertungen –, bei denen ein kontaminierter Wert nicht nur irreführend, sondern potenziell gefährlich ist.
Der alte Kompromiss: Ihre Aufforderungen oder unsere Gewichte
In der Vergangenheit erzwangen hochriskante externe Bewertungen eine unbequeme Entscheidung. Entweder übergab der Bewerter seine Testaufforderungen an den Modellanbieter – und riskierte damit, dass der Anbieter die Testfragen im Voraus sah – oder der Anbieter übergab die Modellgewichte an den Bewerter – und riskierte damit den Verlust seines wertvollsten geistigen Eigentums.
Protokolle ohne Protokollierung und strenge vertragliche Sicherheitsvorkehrungen sorgten lange dafür, dass externe Testaufforderungen vertraulich blieben, schreibt DeepMind, aber das sind Versprechen, die eher durch Richtlinien als durch Mathematik durchgesetzt werden. Doppelblinde Bewertungen ersetzen dieses Vertrauen durch kryptografische Beweise.
So funktioniert die Kryptobox
Das Pilotprojekt nutzt Confidential Space, Teil des Confidential Computing-Portfolios von Google Cloud, um das zu erstellen, was DeepMind als kryptografische „Box“ beschreibt. Darin bleiben beide Hälften einer Bewertung – der vertrauliche Benchmark und das proprietäre Modell – für ihre jeweiligen Eigentümer privat, und die Umgebung überprüft diese Tatsache kryptografisch.
Das Ergebnis ist wirklich doppelblind: Der externe Prüfer kann die Gewichte des Gemini-Modells nicht sehen, und Google kann die Testaufforderungen des Prüfers nicht sehen. Keine Seite muss den Versprechen der anderen vertrauen, denn die Architektur selbst macht Leakage prinzipiell unmöglich. Entscheidend ist auch, dass die Einrichtung verhindert, dass Evaluierungsdaten später zur Optimierung der Modellleistung vor zukünftigen Tests verwendet werden. Dadurch wird der Kreislauf geschlossen, durch den sich normalerweise wieder Kontaminationen einschleichen.
Warum es für die KI-Aufsicht wichtig ist
Die umfassendere Bedeutung geht über ein Zwillingsmodell hinaus. Unabhängige Organisationen – KI-Sicherheitsinstitute, akademische Labore, Regulierungsbehörden – haben jahrelang damit zu kämpfen, geschlossene Grenzmodelle streng zu bewerten, gerade weil Anbieter keine Gewichtungen angeben können und Bewerter keine Benchmarks bereitstellen. Jedes große KI-Sicherheitsinstitut hat sich bei der Unterzeichnung von Evaluierungsvereinbarungen mit Grenzlaboren mit Versionen dieses Problems auseinandergesetzt.
Wenn das Pilotprojekt durchhält, bietet es eine Vorlage, nach der Datensouveränität und geistiges Eigentum einer unabhängigen Prüfung standhalten. DeepMind hofft, dass das Pilotprojekt „eine neue Grenze für die Modellüberwachung schafft und der gesamten Branche dabei hilft, sicherere, zuverlässigere und weithin vertrauenswürdige KI-Systeme zu entwickeln“.
Die Partnerliste ist an sich schon bemerkenswert. Das Singapore AI Safety Institute ist eine der aktivsten nationalen Bewertungsstellen; OpenMined entwickelt datenschutzfreundliche Berechnungstools; MLCommons standardisiert Branchen-Benchmarking. AVERI vervollständigt ein Konsortium aus Regierung, Wissenschaft und Industriestandardisierungsgremien – den Wahlkreisen, die eine doppelblinde Bewertung übernehmen müssten, damit sie zur Norm und nicht zur Demonstration wird.
Ein Wettrüsten um die Integrität der Bewertung
Die Ankündigung erfolgt vor dem Hintergrund einer zunehmenden Überprüfung der Selbstbewertung von KI-Unternehmen. Den Laboren wird immer häufiger vorgeworfen, sie würden sich günstige Benchmarks herauspicken, und unabhängige Bestenlisten haben gerade deshalb an Einfluss gewonnen, weil sie außerhalb der Kontrolle der Anbieter liegen. Die doppelblinde Bewertung erweitert diese Unabhängigkeitsbewegung innerhalb der eigenen Infrastruktur des Anbieters – ein bemerkenswerter Wandel für Unternehmen, die in der Vergangenheit darauf bestanden haben, jedes Detail der Art und Weise zu kontrollieren, wie ihre Modelle getestet werden.
Derzeit deckt das Pilotprojekt ein Modell und eine Reihe vertraulicher Benchmarks ab. Aber wenn die kryptografisch verifizierte, kontaminationsfreie Bewertung zur technischen Routine wird, könnte sich dadurch ändern, was Unternehmen und Regulierungsbehörden von jedem Grenzlabor erwarten – und es schwieriger machen, „unserem Ergebnis zu vertrauen“ in einem Markt zu verkaufen, der zunehmend auf überprüfbaren Behauptungen basiert.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
