Os benchmarks de IA decidem quais modelos serão manchetes – e as empresas que constroem esses modelos aprenderam como vencê-los. Uma startup chamada Vals, formada em 2024, está apostando que a indústria precisa de um árbitro cujos testes não possam ser manipulados, e os investidores acabaram de apoiar essa aposta em grande escala: Vals levantou uma Série A de US$ 40 milhões liderada por Andreessen Horowitz no mês passado, após uma rodada inicial liderada por 8VC e Bloomberg Beta.

A ascensão da empresa ocorre em meio a um crescente desconforto sobre como as capacidades de IA são medidas e o que acontece quando o parâmetro se torna uma ferramenta de marketing. Para saber mais sobre os negócios de IA, siga Cobertura do setor de IA.

Quando os benchmarks se tornam marketing

O benchmarking tornou-se a norma da indústria para validar as capacidades dos modelos de IA – e, quando os números oscilam na direção de uma empresa, para anunciar a superioridade sobre os rivais. Bons benchmarks significam boas relações públicas.

O problema, de acordo com o cofundador e CEO da Vals, Rayan Krishnan, é que muitos benchmarks legados foram construídos para uma geração anterior de modelos, e as empresas descobriram como otimizar em relação a eles. Quando os materiais de teste são públicos, um modelo pode ser efetivamente treinado para passar no exame – uma prática que a indústria tem descrito como contaminação, ajuste excessivo ou trapaça total.

“Estávamos vendo vários modelos novos e muito capazes chegarem rapidamente ao mercado, e os benchmarks acadêmicos não acompanhavam esse avanço de fronteira”, disse Krishnan em entrevista ao TechCrunch.

Testes privados, tarefas do mundo real

Vals adota uma abordagem diferente em duas frentes. Primeiro, ela não divulga publicamente seus materiais de teste específicos, o que torna muito mais difícil para uma empresa treinar seus modelos para o exame. Em segundo lugar, em vez de medir o conhecimento abstrato – se um modelo pode responder a perguntas do tipo exame da ordem – Vals avalia como os modelos executam tarefas complexas em setores específicos, como direito, finanças e codificação.

“O que estamos fazendo é realmente observar quais são os reais impactos dos modelos”, disse Krishnan. “Eles podem realizar um trabalho que produza um produto com a mesma qualidade de um ser humano em todos os domínios?”

A empresa também mede os modos de falha, não apenas os sucessos. Krishnan disse que Vals pretende analisar “se estes modelos corressem soltos no mundo, quais seriam as implicações negativas” – uma filosofia de avaliação que trata o risco descendente como um resultado mensurável e não como uma reflexão tardia.

Do Direito e Finanças às Convenções de Genebra e ao Autoaperfeiçoamento Recursivo

O âmbito das avaliações da Vals continua a expandir-se para além das suas raízes nos serviços profissionais. Juntamente com benchmarks jurídicos, financeiros e de codificação, Krishnan disse que a empresa agora realiza testes em saúde mental, segurança cibernética e biossegurança, e até mesmo um benchmark sobre autoaperfeiçoamento recursivo – um tópico mais comumente discutido nos círculos de segurança de IA do que em suítes de avaliação comercial.

Talvez o mais impressionante seja o seu trabalho sobre o direito dos conflitos armados, onde Vals está a testar como os modelos compreendem e aplicam a Convenção de Genebra. A amplitude sinaliza de onde vem a demanda: não apenas os laboratórios que correm para os primeiros lugares, mas também as empresas e instituições que precisam de evidências de como os modelos se comportam em domínios de alto risco antes de serem implantados.

O modelo de negócios: pague para fazer o teste

As empresas pagam à Vals para avaliar os seus modelos – um acordo que pode parecer contra-intuitivo. Por que uma empresa pagaria por resultados que poderiam embaraçá-la? Krishnan compara o modelo a um estudante que paga ao College Board para fazer o SAT: uma medição independente, mesmo que desfavorável, ajuda a empresa a solucionar problemas e a melhorar ao longo do tempo.

O mercado parece estar respondendo. Vals diz que sua receita é atualmente oito vezes maior que a do ano passado, e sua equipe triplicou desde o início do ano, passando de oito para 25 pessoas. A empresa opera em um escritório de dois andares na Folsom Street, em São Francisco – um antigo prédio de uma cervejaria que agora abriga várias startups.

As avaliações também estão se tornando fatores de tomada de decisão para as empresas que optam por modelos de IA, de acordo com a empresa, dando aos benchmarks um papel mais próximo da devida diligência do que do marketing.

Um fundador de 25 anos com assento na primeira fila

Krishnan, 25 anos, estagiou na Palantir e, como estudante de graduação em Stanford, trabalhou para a Microsoft e para o conhecido laboratório de inteligência artificial da universidade. Ele diz que Vals nasceu ao observar a avaliação ficar atrás da indústria que deveria medir – uma lacuna que só aumentou à medida que novos modelos chegam mais rápido do que os benchmarks acadêmicos podem ser projetados, validados e publicados.

A startup agora se junta a um grupo pequeno, mas crescente, de empresas que tentam institucionalizar a avaliação de IA, um espaço que inclui esforços acadêmicos, projetos de classificação de código aberto e institutos de segurança. O que distingue Vals é o seu modelo de testes privados e o seu foco em avaliações pagas e específicas do setor, em vez de classificações públicas.

Por que é importante

O problema de credibilidade da indústria de IA com benchmarks está bem documentado: conjuntos de testes vazados, saltos suspeitos nas tabelas de classificação e afirmações de marketing que superam o desempenho no mundo real. Se os compradores — especialmente empresas e governos — começarem a confiar em avaliações privadas baseadas em tarefas, como a de Vals, os incentivos para os criadores de modelos poderão passar do ensino para o teste, em direção à capacidade genuína.

Isso está muito longe de ser resolvido. Um benchmark privado ainda pede aos compradores que confiem no árbitro, e os clientes da Vals são as mesmas empresas que estão sendo avaliadas. Mas com uma Série A de 40 milhões de dólares, um crescimento de receitas oito vezes maior e uma procura que abrange o financiamento até à biossegurança, a aposta é que a avaliação do sentimento de independência se está a tornar numa infra-estrutura – um serviço pelo qual a economia da IA ​​pagará, quer os resultados a favoreçam ou não.

Fique à frente da IA

Quem mede os medidores? Acompanhe o negócio de avaliação de IA e as startups que estão remodelando-o em AI Buzz Wire, sua fonte de notícias de última hora sobre IA.

Leia as últimas notícias sobre IA →