Anthropic hat damit begonnen, einem Team von METR, der gemeinnützigen Organisation, die Frontier-KI-Modelle bewertet, „mitarbeiterähnlichen Zugriff“ auf seine internen Systeme zu gewähren – Unternehmenshardware, Büroräume und Tools, die in etwa dem entsprechen, was seine eigenen Risikobewertungsteams verwenden –, damit die externe Gruppe die Risiken der Frontier-Modelle von Anthropic unabhängig bewerten und die Ergebnisse veröffentlichen kann.
Die Vereinbarung, die am Mittwoch auf dem Blog von Anthropic bekannt gegeben wurde, geht über die prüfungsähnlichen Beziehungen hinaus, die KI-Unternehmen normalerweise tolerieren, und enthält eine herausragende Bestimmung: METR wird die Ergebnisse seiner Risikobewertungen veröffentlichen, und Anthropic kann der Veröffentlichung kein Veto einlegen.
Was „mitarbeiterähnlicher Zugriff“ eigentlich bedeutet
Sechs METR-Mitarbeiter wurden mit Firmenhardware, Büroräumen und Zugang zu internen Tools und Systemen ausgestattet, die laut Anthropic in etwa dem entsprechen, was die eigenen Risikobewertungsteams erhalten. Abgesehen von einer kleinen Anzahl klar definierter Kategorien – Daten über Kunden, vertrauliche Informationen zwischen Anwälten und Mandanten und Informationen über Modellarchitekturen – werden Anthropic seinen Mitarbeitern zufolge dazu ermutigt, Informationen mit dem METR-Team zu teilen, genauso wie sie es mit einem Kollegen tun würden, der sich mit dem Alignment-Risiko beschäftigt.
Der Eingriff ist bewusst eng gehalten. Es umfasst ein kleines Team, das auf der Grundlage durchsetzbarer Vereinbarungen arbeitet, und andere METR-Mitarbeiter sind von der Arbeit dieses Teams isoliert – darunter auch Forscher, die mit Anthropic an anderen Projekten zusammenarbeiten. Anthropic weist darauf hin, dass die Einrichtung einigen qualifizierten Personen, die unter den Sicherheitsstandards von Anthropic arbeiten, einen genauen Einblick in die Arbeitsweise des Unternehmens verschafft; Es handelt sich nicht um einen Kanal für andere Organisationen, um Informationen von Anthropic oder seinen Kunden zu erhalten.
Veröffentlichungsrechte, mit Leitplanken
Im Rahmen der Vereinbarung wird METR seine Analyse der Risikoniveaus, Vorfälle oder Praktiken von Anthropic veröffentlichen. Anthropic kann die Veröffentlichung nicht blockieren, kann jedoch Schwärzungen verlangen, wenn Informationen in die oben beschriebenen vordefinierten Kategorien fallen – und Anthropic selbst entscheidet, was in diese Kategorien fällt und was nicht. METR behält sich seinerseits das Recht vor, bestimmte Aussagen über den Zugriffsgrad und die erhaltenen Informationen zu treffen, ein Gegengewicht, das verhindern soll, dass die Redaktionsbefugnis zum Stummschalter wird.
Warum Anthropic sich öffnet
Der Schritt folgt einer Verpflichtung von Anthropic im letzten Monat zu einer stärkeren unabhängigen Bewertung seiner Modelle und Sicherheitspraktiken durch Dritte sowie seiner Unterzeichnung des Abkommens des Weißen Hauses über Super Intelligence, in dem sich KI-Unternehmen verpflichtet haben, mit unabhängigen externen Prüfern oder Gutachtern zusammenzuarbeiten. Es erweitert auch eine bestehende Beziehung: Im vergangenen Jahr arbeitete Anthropic mit METR an mehreren Überprüfungen seiner Risikoberichte.
METR ist nicht allein im Portfolio. Anthropic gibt an, auch mit SecureBio und Accenture als Evaluatoren zusammenzuarbeiten – die Accenture-Fakultät wurde im September zum ersten eingebetteten Evaluator des Unternehmens ernannt – und befindet sich in ersten Gesprächen mit mehreren anderen Organisationen, darunter Hugging Face. Diese Partnerschaften im Frühstadium sind mit eingeschränkteren Informationszugangs- und Veröffentlichungsrechten verbunden, während das Unternehmen lernt, welche Arten von Partnerschaften funktionieren.
Die Bankenaufsichtsanalogie
Anthropics eigene Gestaltung orientiert sich am Finanzwesen. Da Banken mehr über ihre eigenen Risikopositionen wissen als Außenstehende, beauftragen die Aufsichtsbehörden ortsansässige Prüfer damit, bei den größten Banken zu arbeiten. Wenn die Risikobereitschaft einer Bank die Öffentlichkeit gefährden könnte, versuchen Dritte, dies im Voraus zu erkennen. Das Unternehmen positioniert die eingebettete Bewertung als die Version dieser Logik in der KI-Branche – ein Schritt hin zu einer robusten Sicherheitsaufsicht in einem Bereich, in dem der Bauherr immer mehr weiß als der Wachhund.
Dem Ganzen liegt ein erklärtes Ziel zugrunde: die Lücke zwischen dem, was unabhängige Gutachter über die Systeme eines Pionier-KI-Unternehmens verstehen, und dem, was das Unternehmen selbst versteht, zu schließen.
Was Gutachter brauchen
In der Ankündigung wird auch dargelegt, was Anthropic für eine sinnvolle Evaluierung benötigt: Fachwissen in der Bewertung der Fähigkeiten von Grenzmodellen, einschließlich des Verständnisses, wie Evaluierungen durch Phänomene wie Alignment Fake schiefgehen können; Unabhängigkeit, d. h. keine Beteiligung am zu bewertenden Unternehmen bzw. keine finanzielle oder betriebliche Abhängigkeit von diesem; ausreichender Zugang zur sinnvollen Bewertung von Risiken, der über die neuesten Modelle hinausgeht und auch zeigt, wie diese trainiert wurden und wie Schutzmaßnahmen funktionieren; und die Freiheit, Beobachtungen und Bewertungen eines Modells oder Prozesses zu veröffentlichen.
Ein Testfall für die gesamte Branche
Die Anordnung wird anhand ihrer Leistung beurteilt. Die erste veröffentlichte Bewertung von METR im Rahmen des neuen Zugriffssystems wird zeigen, ob der mitarbeiterähnliche Zugriff zu Ergebnissen mit echten Zähnen oder zu Berichten führt, die auf Redaktionskategorien zugeschnitten sind, die das Unternehmen selbst definiert. Skeptiker werden bemerken, dass Anthropic die Kategoriengrenzen kontrolliert und dass das Pilotteam klein ist; Unterstützer werden feststellen, dass ein Veröffentlichungsrecht, gegen das Anthropic kein Veto einlegen kann, unter Frontier Labs wirklich neu ist.
Wie auch immer, die Branche schaut zu. Wenn der eingebettete Zugriff von METR wesentliche Ergebnisse sichtbar macht und sie ungestört veröffentlicht, wird das Modell zur offensichtlichen Vorlage für jedes Labor, das das Abkommen des Weißen Hauses unterzeichnet hat – und zu einem Maßstab für politische Entscheidungsträger, die abwägen, ob freiwillige Aufsicht vorgeschriebene Prüfungen ersetzen kann. Für eine kontinuierliche Berichterstattung über die KI-Sicherheitspolitik und die KI-Branchennachrichten, die sie prägen, verfolgt AI Buzz Wire jede Entwicklung, sobald sie bahnt.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
