John Schulman, cofundador da OpenAI que agora atua como cientista-chefe da Thinking Machines, disse que espera um autoaperfeiçoamento recursivo – sistemas de IA acelerando seu próprio desenvolvimento – em aproximadamente três a quatro anos, um cronograma que o coloca entre os previsores mais agressivos na área. Schulman deu a estimativa durante um episódio de mesa redonda do Dwarkesh Podcast publicado na sexta-feira, no qual três pesquisadores de laboratório de fronteira debateram abertamente o quão perto a indústria realmente está de seu teto.

A conversa ofereceu uma rara visão desprotegida de como os pesquisadores próximos à fronteira estão pensando sobre o progresso, chegando em meio a uma semana barulhenta em que o CEO da Nvidia, Jensen Huang, declarou que “AGI chegou” e um grupo de 25 medalhistas Fields alertaram que a busca por benchmarks de IA está prejudicando a matemática. Para os leitores que acompanham os últimos desenvolvimentos de IA, o episódio é um contrapeso útil: são pessoas que constroem os sistemas e discordam fortemente umas das outras.

Quem estava na mesa

O apresentador Dwarkesh Patel disse que montou o painel porque os convidados trabalham no que ele chamou de “laboratórios e empresas um tanto abertos”, o que significa que eles poderiam falar abertamente. Juntando-se a Schulman estavam Beren Millidge, diretor de tecnologia da Zyphra, uma startup que desenvolve modelos de código aberto, e Charlie O'Neill, chefe de treinamento de modelos da Baseten.

As credenciais de Schulman dão um peso especial à sua palestra sobre a linha do tempo. Ele foi cofundador da OpenAI e liderou o aprendizado por reforço da pesquisa de feedback humano que produziu as técnicas por trás do ChatGPT, antes de partir para Thinking Machines, onde agora atua como cientista-chefe.

O caso contra a singularidade, steelmanned

Patel começou com uma pergunta incisiva: se 2036 chegar sem milhares de milhões de sistemas superinteligentes transformando o mundo, qual terá sido a razão técnica? Milidge apresentou os argumentos mais fortes para o cepticismo, descrevendo o que chamou de um padrão quase ao estilo do paradoxo de Moravec, em que os modelos superam quaisquer parâmetros de referência que os investigadores coloquem à sua frente, mas o impacto no mundo real desilude.

“Ainda existe uma lacuna persistente entre o simulador e o real que de alguma forma está bloqueando tudo”, disse Millidge, descrevendo um mundo onde a IA se torna “extremamente boa em tudo o que as pessoas colocam como referência”, sem generalizar mais. Ele acrescentou que considera este resultado improvável, apontando evidências de que a aprendizagem por reforço já se generaliza na prática.

Schulman concordou amplamente que o progresso não é automático. Os seres humanos detêm vantagens reais sobre os modelos atuais, disse ele, e cada lançamento de novo modelo se atualiza em algumas áreas, enquanto permanece com gargalos em outras – o padrão que definiu os últimos ciclos de produtos.

Cronogramas rápidos: dois anos, três a quatro, cinco a dez

Quando Patel pressionou números, o painel se dividiu. Questionado sobre quando a IA poderia proporcionar um aumento de dez vezes na produtividade de um trabalhador de colarinho branco competente, Schulman primeiro recusou-se a fornecer um único número e depois disse: "Eu diria dois anos". Millidge disse que poderia “ver isso, na verdade”, argumentando que o ganho já excede 10x para algumas categorias de trabalho. O'Neill foi o mais conservador, respondendo "5 a 10" anos.

Patel então foi mais longe, caracterizando o cenário como “basicamente apenas ASI”. Resposta de Schulman: “Eu diria 3-4 anos”, acrescentando que automatizar a pesquisa de IA em si “não é uma das coisas mais difíceis para a IA, porque envolve muito” trabalho que as técnicas atuais já podem abordar. A troca foi notável pela pouca resistência que a estimativa atraiu por parte de outros pesquisadores.

Como os pesquisadores automatizados seriam realmente treinados

Uma parte substancial do episódio tratou da mecânica do cenário que Schulman estava avaliando. Questionado sobre como os sistemas de IA capazes de automatizar a pesquisa de IA seriam treinados, Schulman descreveu "alguma combinação de aprendizagem com feedback humano para absorver o gosto dos pesquisadores, e apenas a criação de muitos ambientes de prática que envolvem a realização de pesquisas em várias etapas".

Essa resposta está relacionada com o destino do dinheiro da indústria. O acordo recentemente concluído pela Google para a Mechanize, uma startup que constrói ambientes de trabalho simulados para agentes de formação, reflecte exactamente esta aposta de que melhores campos de formação - e não apenas modelos maiores - impulsionarão a próxima ronda de ganhos de capacidade. Schulman também sinalizou uma dificuldade central: funções de recompensa construídas em dados naturais são difíceis de especificar, e sinais superficiais, como se um usuário aceitou uma edição de código, podem enganar o treinamento.

Destilação versus centralização

Uma das previsões mais concretas de Schulman dizia respeito à estrutura da indústria. “Penso que a destilação é a principal coisa que luta contra a força centralizadora”, disse ele, argumentando que as capacidades aprendidas através da aprendizagem por reforço podem ser transferidas para modelos mais pequenos com relativa facilidade, espalhando a competência adjacente à fronteira para além das poucas empresas que podem pagar cursos de formação na fronteira.

Sobre a questão do que resta para os humanos, Schulman foi categórico. “Eu diria que a última tarefa dos humanos, ou o papel dos humanos que durará mais tempo, é definir o objetivo e decidir o que realmente queremos”, disse ele. Quando Patel resumiu que “o alinhamento é a tarefa final”, Schulman concordou: “O alinhamento é uma espécie de resposta”, embora tenha observado que ele se decompõe em descobrir o objetivo certo e então realmente alcançá-lo.

Onde o episódio se encaixa no debate da linha do tempo

O subtítulo do episódio – “Não estamos nem perto do teto” – captura seu teor geral: pesquisadores que veem um caminho substancial à frente, mesmo quando questionam o quão acidentado será o caminho. A discussão abrangeu o que está impulsionando o progresso dos laboratórios chineses, se a aprendizagem por reforço de longo horizonte pode gerar inteligência geral e por que a RL começou a funcionar tão bem.

O debate público sobre os prazos intensificou-se em todos os lados este mês. A proclamação de Huang "AGI chegou" atraiu ceticismo de analistas que a leram como um caso de negócios em vez de uma afirmação científica, enquanto o CEO da OpenAI, Sam Altman, disse à equipe que a empresa está aberta a desacelerar o desenvolvimento de ponta à medida que as preocupações com segurança aumentam, de acordo com a Bloomberg. A janela de três a quatro anos de Schulman para o autoaperfeiçoamento recursivo fica em algum lugar entre o marketing e a moratória – uma estimativa de trabalho de alguém com um histórico de desenvolvimento das técnicas que agora impulsionam o campo.

Se ele está certo dependerá de questões que o painel apenas circulou: se a aprendizagem por reforço continua a generalizar-se para além dos seus ambientes de formação e se a lacuna entre o desempenho de referência e o valor económico real continua a diminuir.

Fique à frente da IA

Os pesquisadores da Frontier estão debatendo os limites da IA em público – acompanhe a história à medida que ela se desenvolve.

Leia mais notícias sobre IA no AI Buzz Wire