Pesquisadores da Universidade de Tel Aviv e da Universidade de Stanford relatam que os sistemas de inteligência artificial podem desenvolver habilidades de aprendizagem genuínas através de material de treinamento gerado inteiramente por outros modelos de IA – sem nenhum texto escrito por humanos, fotografias ou quaisquer outros dados externos envolvidos.
As descobertas, publicadas na plataforma científica de pré-impressão arXiv e descritas pela The Media Line, sugerem que um modelo pode construir suas principais habilidades preditivas antes mesmo de encontrar material do mundo real – um resultado que pode mudar a forma como os futuros sistemas de IA serão treinados. Para obter mais cobertura de pesquisas recentes, consulte a página inicial do AI Buzz Wire.
Como funciona o ciclo de autotreinamento
A equipe testou o conceito com um sistema de treinamento construído a partir de dois modelos de IA. Um deles foi encarregado de gerar sequências de símbolos; o outro tentou prever qual símbolo apareceria em seguida. Nenhum dos modelos consultou documentos escritos, fotografias ou qualquer outra fonte externa – todos os exercícios do currículo foram produzidos dentro do próprio sistema.
À medida que os exercícios avançavam, o gerador tornou-se cada vez mais sofisticado na criação de desafios que melhoraram o desempenho do seu parceiro, enquanto o preditor desenvolveu capacidades mais fortes ao tentar repetidamente resolver esses problemas. A abordagem permite efetivamente que um sistema de IA aprimore a forma como aprende por meio de um ciclo contínuo de geração e resolução de exercícios de dificuldade crescente.
Habilidades sem conhecimento
Para determinar se essas habilidades poderiam ser aplicadas além do ambiente artificial de treinamento, os pesquisadores avaliaram o modelo resultante em relação a vários tipos de informações reais: linguagem escrita, imagens, áudio, música, código de computador e sequências de DNA.
Os experimentos demonstraram que a precisão preditiva continuou aumentando à medida que recursos computacionais adicionais eram alocados para o treinamento – evidência de que o método é dimensionado e pode se tornar mais eficaz à medida que a capacidade computacional se expande.
Os resultados também traçam uma linha importante. Os modelos desenvolveram a capacidade de reconhecer padrões, mas não adquiriram independentemente informações factuais sobre assuntos do mundo real; esse tipo de conhecimento, descobriram os pesquisadores, ainda requer exposição a dados reais. Por outras palavras, a formação autogerada pode ensinar a um modelo como aprender, mas não o que o mundo contém.
Os investigadores acreditam que a técnica pode, no entanto, tornar os futuros sistemas de IA mais eficientes, reforçando as suas capacidades de aprendizagem subjacentes antes de começarem a processar informações do mundo real – reduzindo potencialmente a quantidade de treinamento de fronteira de materiais gerados por humanos que exige na frente do pipeline.
Por que 'Aprender a Aprender' é importante
Há uma analogia útil na educação humana: um aluno que praticou a resolução de problemas desconhecidos geralmente extrai mais de um livro fixo do que aquele que apenas o memorizou. O que a configuração Tel Aviv-Stanford demonstra, nesta leitura, é uma versão mecânica dessa separação – uma fase em que um modelo adquire capacidade preditiva geral a partir de exercícios fabricados, antes de qualquer corpus real entrar em cena.
A descoberta é também um lembrete de que pré-formação e conhecimento não são a mesma coisa, uma distinção que se tornou mais importante à medida que os laboratórios misturam dados sintéticos nos seus pipelines. Se um modelo puder chegar ao estágio de dados reais já sabendo como extrair o sinal das sequências, o mesmo corpus poderia levar adiante – embora isso continue sendo uma hipótese até que trabalhos futuros o testem.
Tal como acontece com qualquer pré-impressão, o resultado aguarda replicação e escrutínio da comunidade de investigação mais ampla, e a avaliação abrangeu tarefas preditivas em vez da geração aberta que define os chatbots comerciais.
Uma indústria ávida por dados toma nota
O resultado cai no meio de um debate ativo sobre dados de treinamento. O conjunto acessível de textos humanos de alta qualidade tem sido fortemente explorado, e acordos de licenciamento, dados sintéticos e métodos de auto-reprodução foram todos apresentados como formas de continuar a melhorar os modelos quando a oferta da web aberta se esgota. Uma demonstração de que competências de aprendizagem úteis podem emergir de exercícios puramente gerados por máquinas acrescenta dados concretos a esse argumento.
A advertência dos próprios investigadores marca o limite da afirmação: o conhecimento mundial ainda requer dados reais. A autoformação, com base nesta evidência, é uma forma de melhorar a aprendizagem dos modelos – e não uma forma de substituir a verdade básica que vem do mundo real.
Israel se inclina para a IA
O anúncio chega no momento em que Israel trabalha para fortalecer sua posição em inteligência artificial. Em 3 de Novembro, o Presidente Isaac Herzog convocou a sessão inaugural do fórum "Beyond Intelligence", estabelecido com a Direcção Nacional de IA no Gabinete do Primeiro Ministro e o Instituto Mosaico para Política de IA para examinar o impacto da IA no emprego, na segurança económica e na sociedade.
“Israel deve ocupar o seu lugar na vanguarda da inteligência artificial”, insistiu Herzog na sessão, segundo a The Media Line. "Este trem não vai esperar por nós e o mundo inteiro está olhando em nossa direção."
Por enquanto, o resultado de Tel Aviv-Stanford está diretamente na coluna de pesquisa: uma pré-impressão aguardando o exame minucioso da área, descrevendo um princípio de treinamento em vez de um produto. Mas se os currículos autogerados podem substituir significativamente parte do pipeline de dados, o insumo mais contestado da indústria – dados criados pelo homem – pode ser um pouco menos importante do que o seu mais escasso: a computação.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
