Anthropic hat Forschungsergebnisse veröffentlicht, die zeigen, dass automatisierte KI-Systeme die Ausrichtungsfehler eines Modells zuverlässig reparieren können, ein Ergebnis, das die Art und Weise, wie die Sicherheitsarbeit im Zentrum der KI-Branche erledigt wird, verändern könnte. Das Papier mit dem Titel „Automatisierte Forscher können Ausrichtungsfehler zuverlässig mitigieren“ wurde am Freitag veröffentlicht und von TechCrunch detailliert beschrieben.
Die Forschung stammt aus dem Stipendiatenprogramm von Anthropic und wurde von Chen Yueh-Han geleitet. Die zentrale Behauptung ist bemerkenswert: Als die automatisierten Forschungssysteme des Unternehmens auf zehn Benchmarks zur Messung spezifischer Fehlverhaltensweisen ausgerichtet waren, verbesserten sie die Leistung bei jedem einzelnen – ohne die Gesamtfähigkeit des Modells zu beeinträchtigen. Für einen Bereich, der Schwierigkeiten hat, die Sicherheitsarbeit mit dem Modellmaßstab Schritt zu halten, ist das ein bemerkenswertes Ergebnis. Weitere Informationen zu dieser Geschichte finden Sie in unserer neueste KI-Entwicklungen.
Die Geschichte landete während einer arbeitsreichen Phase für die KI-Sicherheitsberichterstattung. Es folgt ein Sommer, in dem das Fehlverhalten von Agenten die Schlagzeilen beherrschte, vom internen Bericht von OpenAI über Agenten, die Belohnungen hacken, bis hin zu Forderungen nach unabhängigen Untersuchungen des Hugging-Face-Verstoßes. Der neue Artikel von Anthropic nähert sich dem Problem aus der entgegengesetzten Richtung: Anstatt zu fragen, wie sich Agenten schlecht verhalten, fragt es, ob anderen Agenten vertraut werden kann, dass sie sie beheben.
Was die Zeitung tatsächlich berichtet
Das in der Arbeit beschriebene System wird als Automated Alignment Researcher (AAR) bezeichnet. Anstatt den Forschungsprozess zu ersetzen, reproduziert das AAR einen Großteil davon: Jedes automatisierte System durchsucht die verfügbare Literatur, schlägt eine Methode vor und trainiert das Modell mit dieser Methode etwa 30 Minuten lang. Der Prozess wiederholt sich dann über mehrere Iterationen hinweg.
Der Auswahlmechanismus ist einfach. Methoden, die den Benchmark verschieben, bleiben erhalten; Methoden, die dies nicht tun, werden verworfen. Diese Schleife ermöglicht es dem System, schnell und in einem Umfang zu arbeiten, den kein menschliches Team erreichen könnte, indem es viele Forschungsrichtungen parallel testet und nur das behält, was funktioniert.
Dem Papier zufolge waren die Ergebnisse durchweg konsistent. Bei allen zehn Benchmarks, die bestimmte fehlerhafte Verhaltensweisen abdecken, führten die automatisierten Systeme zu messbaren Verbesserungen, ohne die Gesamtleistung des Modells zu beeinträchtigen – der übliche Kompromiss, der die Ausrichtungsarbeit erschwert.
„Insgesamt liefern diese Ergebnisse erste Hinweise darauf, dass eine automatisierte Ausrichtung nach dem Training in naher Zukunft praktikabel werden könnte“, heißt es in dem Papier.
Die Menschen schlagen, mit 1/37 der Kosten
Die am häufigsten zitierten Passagen in der Arbeit sind diejenigen, in denen der AAR direkt mit seinen menschlichen Gegenstücken verglichen wird. Anthropic hat sich bei dem Vergleich nicht zurückgehalten.
„Die beste AAR-Methode übertrifft das, was erfahrene Menschen vorschlagen, und zwar im Durchschnitt innerhalb von sechs Stunden“, heißt es in dem Artikel. Es fügt ausdrücklich hinzu, dass „vom Menschen geleitete Forschungsrichtungen nicht zu einer stärkeren Leistung führen“.
Die Wirtschaftslage ist ebenso unverblümt. „Ein AAR kostet etwa 4 US-Dollar pro Stunde für API-Inferenz im Vergleich zu den 150 US-Dollar pro Stunde, die wir unseren menschlichen Forschern zahlen“, schreiben die Autoren. Das ist ein Kostenunterschied von fast dem 40-fachen und erklärt, warum Labore die automatisierte Forschung ernst nehmen und nicht nur ein Kuriosum sind.
Warum die Kostenlücke wichtig ist
Ausrichtungsforschung ist in einer Weise teuer, die leicht zu unterschätzen ist. Jede Intervention eines Kandidaten muss implementiert, trainiert und anhand von Benchmarks bewertet werden, und die meisten Kandidaten scheitern. Wenn ein System diese Suchschleife zum Preis von API-Aufrufen kontinuierlich ausführen kann, gehen die Grenzkosten für das Ausprobieren einer weiteren Idee gegen Null. Die Einschränkung verlagert sich von der Mitarbeiterzahl auf die Rechenleistung.
Die Grenzen Anthropic selbst markiert
Das Papier äußert sich offen darüber, was das Ergebnis nicht beweist. Das automatisierte System funktioniert nur insoweit, als die Benchmarks tatsächlich die wichtigen Ausrichtungsziele widerspiegeln – und die Erstellung und Aufrechterhaltung von Benchmarks, die reales Fehlverhalten erfassen, bleibt in diesem Bereich ein offenes Problem.
Es gibt auch eine Abhängigkeit, die leicht zu übersehen ist: Die automatisierten Forscher greifen auf eine vorhandene Methodenliteratur zurück. Die Pflege und Erweiterung dieser Literatur ist an sich eine bedeutende Arbeit, und ein System, das nur bekannte Techniken neu mischt, könnte an eine Grenze stoßen, die die menschliche Kreativität nicht erreichen würde.
Diese Vorbehalte sind wichtig, weil die langfristige Bedeutung der Forschung von ihnen abhängt. Wenn die Benchmarks die falschen Dinge messen, kann ein AAR seinen Weg zu starken Zahlen optimieren, während die zugrunde liegenden Risiken unangetastet bleiben. Die Formulierung von Anthropic – „frühe Beweise“, keine Lösung – spiegelt diese Unsicherheit wider.
Ein Schritt zur rekursiven Selbstverbesserung
Das Papier befeuert auch eine größere Debatte über rekursive Selbstverbesserung, die Idee, dass KI-Systeme letztendlich genau die Trainingsprozesse verbessern könnten, die sie hervorbringen. Das Training von KI-Modellen mit anderen KI-Modellen ist zu einem beliebten Ziel für Grenzlabore geworden, und das Ergebnis von Anthropic ist ein erster, konkreter Blick darauf, wie das in einem engen Bereich aussieht.
Die Logik ist einfach. Wenn Modelle ihr eigenes Ausrichtungstraining zuverlässig verbessern können, könnte die gleiche Maschinerie plausibel auf Trainingspraktiken im weiteren Sinne eingesetzt werden – einschließlich der Fähigkeitsarbeit. TechCrunch weist auf die Implikation hin, dass menschliche KI-Forscher irgendwann weniger in den Mittelpunkt des Prozesses rücken könnten, eine Möglichkeit, mit der sich das Papier selbst befasst, anstatt sie zu vermeiden.
Was Sie als Nächstes sehen sollten
Drei Fragen werden bestimmen, ob dieses Ergebnis verallgemeinert werden kann. Erstens, ob der Ansatz außerhalb der zehn von Anthropic getesteten Benchmarks bei Fehlermodi gilt, die chaotischer und weniger klar definiert sind. Zweitens, ob das Benchmark-Wartungsproblem schnell genug gelöst werden kann, um die automatisierte Forschung ehrlich zu halten. Drittens, ob andere Labore vergleichbare Ergebnisse veröffentlichen, die aus einem einzigen Artikel eine Richtung für die Branche machen würden.
Im Moment ist die Erkenntnis begrenzt, aber real: Bei den spezifischen Ausrichtungsaufgaben, die Anthropic getestet hat, übertrafen automatisierte Forscher erfahrene Menschen, und zwar schneller und weitaus kostengünstiger. Die Sicherheitsseite der KI-Branche ist möglicherweise der erste Ort, an dem KI-Forscher – und nicht menschliche – die meiste Arbeit erledigen.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
