Anthropic ha comenzado a brindarle a un equipo de METR, la organización sin fines de lucro que evalúa modelos de inteligencia artificial de vanguardia, "acceso similar al de los empleados" a sus sistemas internos (hardware, espacio de oficina y herramientas de la empresa más o menos a la par con lo que usan sus propios equipos de evaluación de riesgos) para que el grupo externo pueda evaluar de forma independiente los riesgos de los modelos de frontera de Anthropic y publicar lo que encuentre.
El acuerdo, anunciado en el blog de Anthropic el miércoles, va más allá de las relaciones de estilo auditoría que las empresas de IA normalmente han tolerado, y viene con una disposición que se destaca: METR publicará los resultados de sus evaluaciones de riesgos y Anthropic no puede vetar la publicación.
Qué significa realmente el "acceso similar al de los empleados"
Se ha incorporado a seis empleados de METR hardware de la empresa, espacio de oficina y acceso a herramientas y sistemas internos que Anthropic describe como aproximadamente a la par de lo que reciben sus propios equipos de evaluación de riesgos. Fuera de una pequeña cantidad de categorías claramente definidas (datos sobre clientes, información privilegiada abogado-cliente e información sobre arquitecturas de modelos), Anthropic dice que se anima a sus empleados a compartir información con el equipo METR tal como lo harían con un compañero de trabajo que trabaja en riesgos de alineación.
El compromiso es deliberadamente estrecho. Cubre un pequeño equipo que opera bajo acuerdos ejecutables, y otros empleados de METR están aislados del trabajo de ese equipo, incluidos los investigadores que colaboran con Anthropic en otros proyectos. Anthropic señala que la configuración brinda a algunas personas calificadas, que trabajan bajo los estándares de seguridad de Anthropic, una visión cercana de cómo opera la empresa; no es un canal para que otras organizaciones obtengan información de Anthropic o la de sus clientes.
Derechos de publicación, con barandillas
Según el acuerdo, METR publicará su análisis de los niveles de riesgo, incidentes o prácticas de Anthropic. Anthropic no puede bloquear la publicación, pero puede requerir redacciones cuando la información cae dentro de las categorías predefinidas descritas anteriormente, y Anthropic decide qué cae o no en esas categorías. METR, por su parte, se reserva el derecho de realizar ciertas declaraciones sobre el nivel de acceso e información que recibió, un contrapeso diseñado para evitar que el poder de redacción se convierta en un botón de silencio.
Por qué Anthropic se está abriendo
La medida sigue al compromiso que Anthropic asumió el mes pasado de realizar una evaluación independiente más sólida de sus modelos y prácticas de seguridad por parte de terceros, y a su firma del Acuerdo de la Casa Blanca sobre Superinteligencia, en el que las empresas de IA se comprometieron a asociarse con auditores o evaluadores externos independientes. También amplía una relación existente: durante el año pasado, Anthropic trabajó con METR en varias revisiones de sus informes de riesgos.
METR no está solo en la cartera. Anthropic dice que también está trabajando con SecureBio y Accenture como evaluadores (la facultad de Accenture fue nombrada el primer evaluador integrado de la compañía en septiembre) y está en conversaciones iniciales con varias otras organizaciones, incluida Hugging Face. Esas asociaciones en etapas anteriores vienen con acceso a la información y derechos de publicación más limitados mientras la empresa aprende qué tipos de asociaciones funcionan.
La analogía entre el banco y la supervisión
El propio marco de Anthropic toma prestado de las finanzas. Los bancos saben más sobre sus propias posiciones de riesgo que los externos, por lo que los reguladores asignan examinadores residentes para trabajar dentro de los bancos más grandes; Si la asunción de riesgos por parte de un banco podría amenazar al público, los terceros intentan verlo con antelación. La compañía posiciona la evaluación integrada como la versión de esa lógica de la industria de la IA: un paso hacia una supervisión de seguridad sólida en un campo donde el constructor siempre sabe más que el perro guardián.
Detrás de todo esto hay un objetivo declarado: cerrar la brecha entre lo que los evaluadores independientes entienden sobre los sistemas de una empresa de IA fronteriza y lo que entiende la propia empresa.
Qué necesitan los evaluadores
El anuncio también establece lo que Anthropic cree que requiere una evaluación significativa: experiencia en la evaluación de las capacidades del modelo de frontera, incluida la comprensión de cómo las evaluaciones pueden salir mal a través de fenómenos como la falsificación de alineación; independencia, es decir, sin participación ni dependencia financiera u operativa de la empresa que se está evaluando; suficiente acceso para evaluar de manera significativa los riesgos, extendiéndose más allá de los últimos modelos hasta cómo fueron capacitados y cómo funcionan las salvaguardas; y libertad para publicar observaciones y evaluaciones de un modelo o proceso.
Un caso de prueba para toda la industria
El acuerdo será juzgado por su resultado. La primera evaluación publicada por METR bajo el nuevo régimen de acceso mostrará si el acceso similar al de los empleados produce hallazgos con datos reales o informes recortados por categorías de redacción que la propia empresa define. Los escépticos notarán que Anthropic controla los límites de las categorías y que el equipo piloto es pequeño; Los partidarios notarán que una publicación cuyo derecho Anthropic no puede vetar es genuinamente novedosa entre los laboratorios fronterizos.
De cualquier manera, la industria está observando. Si el acceso integrado de METR muestra los hallazgos materiales y los publica intactos, el modelo se convierte en el modelo obvio para cada laboratorio que firmó el acuerdo de la Casa Blanca, y en un punto de referencia para los formuladores de políticas que sopesan si la supervisión voluntaria puede sustituir a las auditorías obligatorias. Para obtener una cobertura continua de la política de seguridad de la IA y las noticias de la industria de la IA que la configuran, AI Buzz Wire sigue cada desarrollo a medida que se produce.
---
Manténgase a la vanguardia de la IAObtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.
Leer más noticias sobre IA →
