Una operación encubierta a gran escala contra las tuberías de la industria de la IA ha documentado lo que sucede con las indicaciones que los usuarios envían todos los días, y la respuesta es: se filtran. El investigador de seguridad HD Moore, director de investigación de la firma de seguridad industrial Dragos, envió casi dos millones de mensajes de IA que contenían secretos únicos y rastreables a proveedores de IA y luego observó dónde aparecían esos secretos. "Lo que encontramos reveló violaciones de seguridad, robos rápidos y fallas generalizadas para proteger los datos de los clientes", escribió Moore en un informe publicado el jueves.

Los hallazgos, informados en detalle por Ars Technica, llegan cuando los enrutadores de IA (servicios de intermediarios como OpenRouter y Vercel que aceptan indicaciones de los usuarios finales y las enrutan al proveedor de inferencia que sea más barato o mejor adecuado) se han convertido en la infraestructura central para miles de aplicaciones. También desencadenaron una rápida respuesta de la industria: OpenRouter publicó su propio anuncio de incidente el 22 de noviembre, diciendo que había dado de baja a tres proveedores, eliminado 125 puntos finales de la elegibilidad de Retención de Datos Cero y notificado a los clientes potencialmente afectados.

Cómo funcionó la trampa para canarios

Moore reunió una colección de claves de acceso de AWS en funcionamiento vinculadas a cuentas vacías, contraseñas SSH que funcionan y URL únicas, nombres DNS y referencias de repositorios privados de git. Ninguno de los secretos se había utilizado antes y Moore controlaba la infraestructura en el lado receptor. Cada secreto se sembró exactamente en un mensaje enviado a un único proveedor, de modo que si el secreto aparecía más tarde en algún lugar, su viaje podría rastrearse hasta el eslabón exacto de la cadena responsable.

El diseño es importante debido a cómo el ecosistema de IA realmente mueve los datos. Las indicaciones se cifran en tránsito, pero se descifran en cada salto. Un enrutador de IA lee el texto sin formato para elegir proveedores de inferencia adecuados; Luego, el mensaje a menudo se envía a un grupo de modelos, que a veces se ejecutan dentro de diferentes empresas de alojamiento. Las indicaciones pueden incluso pasar de un enrutador a otro (de Vercel a OpenRouter, por ejemplo) y cada intermediario es libre de registrar y almacenar el contenido según sus propias políticas.

Tres proveedores vulnerados, claves utilizadas en cuestión de horas

El hallazgo más alarmante involucró a tres proveedores de hosting distintos que se vieron comprometidos durante el experimento. Según Moore, los atacantes que violaron un proveedor reutilizaron "un par de cientos" de las claves de AWS colocadas. Cada clave se había enviado exactamente en una solicitud a un proveedor, dentro de unos pocos períodos cortos a fines de octubre, y "cada solicitud que enviamos durante esos períodos fue robada". Fundamentalmente, algunas claves robadas procedían de solicitudes que el proveedor había rechazado antes de que se ejecutara un modelo, lo que indicaba que el atacante estaba copiando el tráfico en la puerta principal del proveedor en lugar de hacerlo más profundamente en la pila de inferencia.

En las otras dos infracciones, algunas de las solicitudes robadas se marcaron como Retención de datos cero. "Una bandera de privacidad no ayuda cuando el atacante ya está dentro", escribió Moore. En algunos casos, las partes detrás de las intrusiones probaron las claves cebo en cuestión de horas, revisaron depósitos S3, administradores de secretos y almacenes de parámetros para obtener más credenciales, intentaron habilitar modelos alojados en AWS Bedrock y agregaron sus propios usuarios de IAM para mantener el acceso. En total, las claves robadas se utilizaron "decenas de miles" de veces en llamadas a la API de AWS. Los secretos robados de dos de los proveedores pirateados se utilizaron juntos, casi de inmediato, desde el mismo servidor alquilado: una prueba contundente de que un adversario comprometió a ambos.

Revendedores que roban y un laboratorio que raspa

No todos los filtradores eran piratas informáticos. Moore documentó a revendedores que atraían solicitudes con precios bajos, activaban el registro de solicitudes y simplemente esperaban. Los identificó enviando solicitudes idénticas al mismo modelo a través de diferentes vendedores: cuando se reutilizaban las credenciales de un vendedor pero no de otro, el culpable estaba claro.

El caso de raspado más claro, escribió Moore, involucró a un laboratorio chino de inteligencia artificial cuyos sistemas obtuvieron las URL secretas de más de la mitad de los mensajes enviados a sus modelos entre julio y octubre, incluidas aproximadamente dos terceras partes de las solicitudes marcadas explícitamente como "sin recopilación de datos" o retención cero de datos. El raspador normalmente aparecía dos o tres días después de cada solicitud. No se limitó a los clientes directos: varios proveedores de hosting estadounidenses revenden los modelos del laboratorio, y las indicaciones enviadas a través de esos intermediarios estadounidenses activaron exactamente el mismo raspador. En otras palabras, un cliente que eligió un proveedor estadounidense específicamente para mantener sus datos en Estados Unidos no obtuvo lo que pagó. Por otra parte, un cliente git en una nube diferente comenzó a intentar clonar los repositorios privados a los que se hace referencia en las indicaciones, pero solo para las indicaciones que utilizaban los modelos de ese laboratorio.

OpenRouter responde

El experimento rápidamente produjo consecuencias en el mundo real. Ars Technica informó en una actualización que OpenRouter envió un correo electrónico a sus clientes el 21 de noviembre advirtiendo que algunas de sus indicaciones podrían haber sido leídas, citando la investigación: la posible exposición involucró indicaciones enviadas a MiniMax, un proveedor de modelos con sede en China, ya sea directamente o a través de tres revendedores: AtlasCloud, Novita y StreamLake. OpenRouter eliminó la etiqueta "Retención de datos cero" de los puntos finales del modelo MiniMax.

En su publicación de blog oficial del 22 de noviembre, OpenRouter confirmó que había eliminado tres proveedores, eliminado 125 puntos finales de la elegibilidad ZDR y notificado a los usuarios afectados si los proveedores habían publicado o no públicamente. La compañía dijo que los hallazgos "no mostraron ninguna violación o acceso no autorizado a OpenRouter", agradeció al equipo de Dragos y dijo que los proveedores que quieran permanecer en la plataforma "tendrán que cumplir" con un estándar de seguridad cada vez mayor, ya que OpenRouter integra técnicas de prueba similares.

Moore también encontró filtraciones perdidas de cola larga: un proveedor de alojamiento de EE. UU. rastreó una URL secreta más de dos meses después de una única llamada de inferencia a su punto final de búsqueda, y otro ejecutó un raspador que devolvió las URL plantadas días después de cada solicitud, independientemente de qué enrutador entregó el mensaje.

Qué pueden hacer los usuarios

La defensa más eficaz, afirmó Moore, es alojar modelos en las instalaciones, una opción costosa que pocas organizaciones pueden justificar. La siguiente mejor medida es comprar directamente a un proveedor de primer nivel, con "un contrato y una política de privacidad para leer", y evitar grupos de proveedores o revendedores predeterminados eligiendo usted mismo proveedores ascendentes. Incluso entonces, advirtió, no hay garantía de que los datos no se filtren.

El experimento es la crítica más dura hasta ahora a las prácticas de privacidad en el mercado de inferencia de rápido crecimiento: la cadena entre una aplicación y un modelo ahora puede involucrar enrutadores, revendedores y capas de alojamiento en múltiples continentes, cada uno con sus propias políticas de registro, y las etiquetas destinadas a tranquilizar a los clientes (como Retención de datos cero) pueden romperse o eliminarse sin previo aviso. Para una industria que pide a las empresas que peguen sus documentos, códigos y credenciales en mensajes, el mensaje de los dos millones de canarios es incómodo: hasta que cambien las tuberías, supongamos que cada salto puede leer cada palabra.

Manténgase por delante de la IA

La seguridad y la privacidad son ahora preocupaciones fundamentales para cualquiera que se base en la IA. Para obtener noticias de última hora sobre IA y cobertura independiente de las historias más importantes de la industria, visite AI Buzz Wire.

Leer más noticias sobre IA →