Um segundo matemático acusou publicamente a OpenAI de comportamento antiético e “desonesto” em relação aos dados por trás de seus célebres avanços matemáticos, dizendo que a empresa não conseguiu provar que suas interações privadas com o ChatGPT não contribuíram para os resultados anunciados com grande alarde no mês passado.
Em uma série de postagens no Mastodon relatadas pelo The Verge na quarta-feira, o matemático Andreas Thom levantou preocupações de que as conversas que ele e seus colegas tiveram com o ChatGPT antes do anúncio da OpenAI possam ter contribuído para o sucesso do modelo. Sua intervenção ocorreu poucos dias depois que o professor de matemática da Universidade de Nova York Tristan Buckmaster questionou publicamente se os modelos da OpenAI haviam se beneficiado do seu próprio uso da ferramenta Codex da empresa – transformando um momento de triunfo para o laboratório em uma disputa contínua sobre a proveniência dos dados de treinamento. Para mais contexto sobre esta história, confira nossa tendências de IA.
Do avanço à reação negativa
Em agosto, a OpenAI anunciou que o seu sistema tinha produzido dez resultados significativos em matemática e ciência da computação teórica, cada um verificado com provas Lean verificadas por máquina – um marco que este site cobriu na altura, juntamente com a alegada solução da empresa para um problema do Prémio Millennium. Um dos dez resultados estabeleceu a existência dos chamados grupos não-sóficos, uma questão há muito aberta na teoria dos grupos.
Esse resultado está no centro da nova controvérsia. De acordo com o The Verge, a OpenAI reconheceu que a prova se baseou fortemente em trabalhos anteriores de Thom e do colega matemático Gábor Kun – e após críticas dos círculos matemáticos por inicialmente não reconhecerem as suas contribuições recentes, a empresa alterou discretamente o seu texto.
Para Thom, o reconhecimento levantou uma questão incômoda: como o modelo passou a dominar as técnicas dele e de Kun com tantos detalhes?
A pergunta que Thom diz que ficou sem resposta
Thom disse que ficou impressionado com o “comando detalhado de nossas técnicas pela OpenAI”, que ele observou não serem os caminhos mais óbvios nem os mais promissores para uma solução na época. Ele escreveu e-mails para os pesquisadores da OpenAI Sébastien Bubeck e Mark Sellke – este último também estatístico em Harvard – perguntando se suas interações com o ChatGPT tinham sido “parte dos dados de treinamento ou acessíveis ao processo de raciocínio” e poderiam, portanto, ter contribuído para o resultado.
A resposta que recebeu abordava apenas se suas conversas poderiam ser acessadas diretamente, e não se elas haviam entrado nos vastos conjuntos de dados usados para treinar e melhorar os modelos da empresa. “Nenhuma qualificação, explicação ou evidência foi dada”, escreveu Thom. "Eu considero isso uma desonestidade, para dizer o mínimo."
Num seguimento citado pelo The Verge, ele acentuou a acusação: "A resposta categórica de Sellke foi, no mínimo, injustificadamente ampla e materialmente enganosa; olhando para trás, foi claramente desonesta."
O argumento de Thom é menos sobre o que a OpenAI fez do que sobre quem arca com o ônus da prova. Os pesquisadores, disse ele, não estão equipados para fazer engenharia reversa no pipeline de treinamento da empresa. “Apenas a OpenAI tem os dados relevantes para isso”, escreveu ele – portanto, se a empresa quiser negar que os dados do usuário contribuíram para seus resultados, a responsabilidade recai sobre a OpenAI de provar isso, divulgando os conjuntos de dados relevantes e esclarecendo como ela usa as interações com os clientes.
Negações cuidadosas da OpenAI
A disputa ecoa a forma como a empresa lidou com seu alegado avanço Navier-Stokes, trabalho que Buckmaster vinha realizando com o pesquisador antrópico Levent Alpöge a título pessoal, de acordo com The Verge. Na postagem do blog anunciando esse resultado, a OpenAI afirmou: “Nós (os pesquisadores e os agentes) não vimos nenhum de seus trabalhos por qualquer meio até que o divulgassem publicamente – em particular, nenhum dado específico do usuário foi acessado para resolver este problema.”
Mas a mesma postagem concedeu um canal indireto: “Embora improvável, não podemos descartar que dados não identificados derivados do uso de nossos produtos ajudaram a melhorar nossos modelos”.
Para Thom, essa distinção é todo o problema. “A desidentificação pode remover um nome; não remove o conteúdo intelectual de uma ideia matemática”, escreveu ele. A OpenAI não respondeu imediatamente ao pedido de comentários do The Verge.
Ele acrescentou que “seria eticamente indefensável” se pesquisas não públicas fornecidas por usuários ajudassem a melhorar os modelos que a empresa usou para competir com esses mesmos usuários para publicação – sem consentimento, divulgação adequada ou crédito.
Um arrepio com a matemática
As circunstâncias do impulso ao Prémio Milénio pouco contribuíram para acalmar os nervos. A OpenAI disse que procurou resolver o problema depois de ouvir rumores online de que outros pesquisadores haviam feito grandes progressos – efetivamente levando os acadêmicos a um resultado que eles haviam passado anos aproximando.
Numerosos pesquisadores disseram ao The Verge que temem que tal comportamento leve a matemática a um estado mais secreto, se os matemáticos acreditarem que mesmo os rumores de um avanço iminente poderiam desencadear uma corrida contra um gigante da tecnologia com bons recursos e ávido por glória. A cobertura relacionada do The Verge – “A descoberta matemática astuta da OpenAI causa arrepios na academia” – capturou o clima no campo.
O episódio surge num momento delicado para as empresas de IA e para as comunidades de investigação que cada vez mais enfrentam. Quaisquer que sejam os méritos de qualquer resultado individual, a assimetria que Thom descreve é estrutural: os laboratórios podem absorver as interações dos utilizadores em grande escala, enquanto as pessoas que geram esses dados não têm forma de auditar o que foi obtido. Até que as empresas abram os seus canais de formação ao escrutínio ou imponham firewalls rígidos e verificáveis entre as conversas com os clientes e a formação do modelo, cada declaração "não utilizámos os seus dados" terá um asterisco implícito - e cada avanço virá com matemáticos, e cada vez mais investigadores noutras áreas, a pedirem provas.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
