Un segundo matemático acusó públicamente a OpenAI de comportamiento poco ético y "deshonesto" en relación con los datos detrás de sus célebres avances matemáticos, diciendo que la compañía no ha podido demostrar que sus interacciones privadas con ChatGPT no contribuyeron a los resultados anunciados con gran fanfarria el mes pasado.
En una serie de publicaciones sobre Mastodon reportadas por The Verge el miércoles, el matemático Andreas Thom expresó su preocupación de que las conversaciones que él y sus colegas tuvieron con ChatGPT antes del anuncio de OpenAI pudieran haber contribuido al éxito del modelo. Su intervención se produjo pocos días después de que el profesor de matemáticas de la Universidad de Nueva York Tristan Buckmaster cuestionara públicamente si los modelos de OpenAI se habían beneficiado de su propio uso de la herramienta Codex de la compañía, convirtiendo un momento de triunfo para el laboratorio en una disputa constante sobre la procedencia de los datos de entrenamiento. Para más contexto sobre esta historia, consulta nuestra actualidad de inteligencia artificial.
Del avance a la reacción
En agosto, OpenAI anunció que su sistema había producido diez resultados significativos en matemáticas e informática teórica, cada uno de ellos verificado con pruebas Lean verificadas por máquinas, un hito que este sitio cubrió en ese momento, junto con la supuesta solución de la compañía a un problema del Premio del Milenio. Uno de los diez resultados estableció la existencia de los llamados grupos no sóficos, una cuestión abierta desde hace mucho tiempo en la teoría de grupos.
Ese resultado se encuentra en el centro de la nueva controversia. Según The Verge, OpenAI reconoció que la prueba se basó en gran medida en trabajos anteriores de Thom y su colega matemático Gábor Kun, y después de las críticas de los círculos matemáticos por no reconocer inicialmente sus contribuciones recientes, la compañía modificó silenciosamente su artículo.
Para Thom, el reconocimiento planteó una pregunta incómoda: ¿cómo llegó el modelo a dominar sus técnicas y las de Kun con tanto detalle?
La pregunta que dice Thom quedó sin respuesta
Thom dijo que le sorprendió "el dominio detallado de nuestras técnicas por parte de OpenAI", que señaló que no eran ni las rutas más obvias ni las más prometedoras hacia una solución en ese momento. Escribió correos electrónicos a los investigadores de OpenAI Sébastien Bubeck y Mark Sellke (este último también estadístico de Harvard) preguntándoles si sus interacciones con ChatGPT habían sido "parte de los datos de entrenamiento o accesibles al proceso de razonamiento" y, por lo tanto, podrían haber contribuido al resultado.
La respuesta que recibió solo se refería a si se podía acceder directamente a sus conversaciones, no a si habían ingresado a los vastos conjuntos de datos utilizados para entrenar y mejorar los modelos de la empresa. "No se dio tal calificación, explicación o evidencia", escribió Thom. "Tomo esto como deshonestidad, por decir lo menos".
En un seguimiento citado por The Verge, agudizó la acusación: "La respuesta categórica de Sellke fue, como mínimo, injustificadamente amplia y materialmente engañosa; mirando hacia atrás, fue claramente deshonesta".
El argumento de Thom tiene menos que ver con lo que hizo OpenAI y más con quién soporta la carga de la prueba. Los investigadores, afirmó, no están equipados para realizar ingeniería inversa en el proceso de formación de la empresa. "Solo OpenAI tiene los datos relevantes para eso", escribió, por lo que si la compañía quiere negar que los datos del usuario contribuyeron a sus resultados, OpenAI tiene la responsabilidad de demostrarlo revelando los conjuntos de datos relevantes y aclarando cómo utiliza las interacciones con los clientes.
Las cuidadosas negaciones de OpenAI
La disputa se hace eco del manejo por parte de la compañía de su supuesto avance Navier-Stokes, trabajo en el que Buckmaster había estado realizando con el investigador antrópico Levent Alpöge a título personal, según The Verge. En la publicación del blog que anunciaba ese resultado, OpenAI declaró: "Nosotros (los investigadores y los agentes) no vimos ninguno de sus trabajos por ningún medio hasta que lo publicaron públicamente; en particular, no se accedió a datos de usuarios específicos para resolver este problema".
Pero la misma publicación admitió un canal indirecto: "Aunque es poco probable, no podemos descartar que los datos no identificados derivados del uso de nuestros productos hayan ayudado a mejorar nuestros modelos".
Para Thom, esa distinción es todo el problema. "La desidentificación puede eliminar un nombre; no elimina el contenido intelectual de una idea matemática", escribió. OpenAI no respondió de inmediato a la solicitud de comentarios de The Verge.
Añadió que "sería éticamente indefendible" si la investigación no pública proporcionada por los usuarios ayudara a mejorar los modelos que la empresa luego utilizó para competir con esos mismos usuarios hasta la publicación, sin consentimiento, divulgación adecuada o crédito.
Un escalofrío por las matemáticas
Las circunstancias del impulso del Premio del Milenio han hecho poco para calmar los nervios. OpenAI ha dicho que abordó el problema después de escuchar rumores en línea de que otros investigadores habían logrado avances importantes, compitiendo efectivamente con académicos hacia un resultado al que se habían acercado durante años.
Numerosos investigadores dijeron a The Verge que les preocupa que tal comportamiento lleve a las matemáticas a un estado más reservado, si los matemáticos llegan a creer que incluso los rumores de un avance inminente podrían iniciar una carrera contra un gigante tecnológico con buenos recursos y ansioso de gloria. La cobertura relacionada de The Verge – “El astuto avance matemático de OpenAI provoca escalofríos en el mundo académico” – capturó el estado de ánimo en el campo.
El episodio llega en un momento delicado para las empresas de inteligencia artificial y las comunidades de investigación con las que se enfrentan cada vez más. Cualesquiera que sean los méritos de cualquier resultado individual, la asimetría que describe Thom es estructural: los laboratorios pueden asimilar las interacciones de los usuarios a escala, mientras que las personas que generan esos datos no tienen forma de auditar lo que se tomó. Hasta que las empresas abran sus canales de capacitación al escrutinio o impongan cortafuegos estrictos y verificables entre las conversaciones con los clientes y la capacitación del modelo, cada declaración de "no usamos sus datos" llevará un asterisco implícito, y cada avance vendrá con matemáticos, y cada vez más investigadores en otros campos, pidiendo pruebas.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
