TecStudio
- Publicidade -

Capacidade de pesquisa de IA dobra a cada 3 meses, e Anthropic antecipa auto-melhoria para 2027

Benchmark TasteVal mostra que capacidade de IA de planejar experimentos dobrou a cada 3 meses. Jack Clark (Anthropic) vê auto-melhoria possível em 2027.

Por Rockweew
6 min
Secretary of State Peter Kyle visits Anthropic in San Francisco. (54098999333)
Foto: Department for Science, Innovation and Technology / Wikimedia Commons (CC BY 2.0)

Um novo benchmark está mudando a régua que a indústria de inteligência artificial usa para medir seu próprio progresso. Batizado de TasteVal, ele não testa trivia de conhecimento ou código: mede a capacidade de um modelo de IA desenhar experimentos do zero e interpretar os resultados. E os números mostram uma curva de melhoria que impressionou até quem trabalha dentro do setor.

Resumo

  • Benchmark TasteVal mede a capacidade de modelos de IA desenharem experimentos e interpretarem resultados sozinhos
  • O compute multiplier, eficiência computacional em relação a especialistas humanos, dobrou a cada 3 meses desde dezembro de 2025
  • Anthropic Opus 5.5 lidera com compute multiplier de 2,3, alcançando o nível de especialistas com menos da metade do poder de computação
  • Jack Clark, cofundador da Anthropic, antecipa previsão de auto-melhoria recursiva (RSI) de 2028 para 2027
- Publicidade -

Desde dezembro de 2025, essa habilidade, que os pesquisadores do laboratório P-Zero Research chamam de “research taste”, dobra a cada três meses. O dado levou Jack Clark, cofundador da Anthropic, a antecipar sua aposta num dos marcos mais comentados da área. Clark agora acredita que a auto-melhoria recursiva (RSI), o ponto em que sistemas de IA desenvolvem seus próprios sucessores, pode chegar já em 2027. A previsão anterior era 2028.

O que o TasteVal mede (e o que ele deixa de fora)

P-Zero Research define research taste como a combinação de três habilidades: identificar quais perguntas de pesquisa valem a pena ser investigadas, desenhar experimentos para respondê-las e interpretar corretamente os resultados. O TasteVal testa só as duas últimas. A escolha do rumo da investigação, considerada o coração da intuição científica, é entregue de bandeja para o modelo.

Gráfico do P-Zero Research mostra a evolução do compute multiplier dos principais modelos de IA desde dezembro de 2025.
Gráfico do P-Zero Research mostra a evolução do compute multiplier dos principais modelos de IA desde dezembro de 2025. Imagem: The Decoder

Cada uma das oito tarefas do benchmark define um objetivo fixo de pesquisa dentro do desenvolvimento de modelos de IA, áreas como seleção de dados de treinamento, pré-treinamento e ajuste fino de modelos de linguagem, treinamento com preferências humanas e defesa contra ataques adversários. O modelo decide qual experimento rodar em seguida e usa o resultado para guiar o próximo passo. Para evitar que a habilidade de programar distorcesse o resultado, um agente de código fixo executa todos os experimentos em uma única GPU Nvidia H100.

A linha de base humana veio de 24 especialistas que trabalharam recentemente em lugares como OpenAI, Google DeepMind, Nvidia e Microsoft Research. Cada tarefa teve pelo menos dois humanos dedicados, e a melhor tentativa em cada uma serviu como referência.

Opus 5.5 lidera com o dobro de eficiência

Para tornar o research taste mensurável, o P-Zero Research traduziu o conceito em eficiência computacional. A lógica: em pesquisa de IA, o poder de processamento disponível para experimentos é o gargalo. Quem escolhe os experimentos certos e lê os resultados corretamente gasta menos computação para chegar ao mesmo destino.

2,3

compute multiplier do Opus 5.5 no TasteVal

Fonte: P-Zero Research

O modelo que liderou o ranking foi o Anthropic Opus 5.5, o mesmo que a empresa usa internamente e já apareceu em estudos recentes da Anthropic sobre agentes de IA. Ele atingiu um “compute multiplier” de 2,3, ou seja, alcançou o nível dos especialistas com menos da metade do poder computacional que os humanos precisaram. A margem de incerteza é grande, porém: o intervalo estatístico vai de 1,15 a 4,37. No extremo inferior, a vantagem sobre os humanos seria apertada.

O custo de uma rodada do modelo foi cerca de um trigésimo do custo médio de uma tentativa dos especialistas humanos.

O ritmo de melhoria é o que mais chama a atenção. Atravessando várias gerações de modelos, o compute multiplier dobrou a cada três meses desde o fim de 2025. Antes disso, o crescimento era bem mais lento. A curva só inclinou na virada de 2025 para 2026. Os próprios autores do estudo admitem, no entanto, que os resultados podem superestimar “o quão rápido o research taste está melhorando”, as tarefas são baratas e rápidas de verificar, exatamente o tipo de problema que os laboratórios de IA acham mais fácil de otimizar.

Jack Clark antecipa a previsão de auto-melhoria para 2027

Clark, que também escreve o boletim Import AI, sempre tratou a criatividade como o fator decisivo para saber o quão rápido os sistemas de IA podem se aprimorar sozinhos. No começo do ano, ele escreveu que os modelos ainda não mostravam essa capacidade em escala significativa. Agora, diz que avanços em descobertas matemáticas e benchmarks como o TasteVal indicam que o cenário está mudando.

Num ensaio longo em maio deste ano, Clark havia sido mais contido: colocou as chances de um sistema treinar de forma independente um sucessor mais forte em cerca de 60% até o fim de 2028 e 30% até 2027. A nova leitura dos dados o fez puxar a aposta para 2027. Vale notar o viés: ele é cofundador da empresa que tem o modelo no topo do benchmark.

Na época do ensaio de maio, o pesquisador de IA Herbie Bradley rebateu o argumento. Para Bradley, os modelos poderiam plausivelmente assumir o trabalho de pesquisadores juniores, mas habilidades mais exigentes como research taste, criatividade e planejamento de pesquisa de longo prazo estavam longe do alcance da IA. O TasteVal empurra contra essa avaliação no quesito planejamento e avaliação de experimentos, mas não diz nada sobre a capacidade de escolher uma agenda de pesquisa de longo prazo.

O debate se desloca da capacidade bruta para a autonomia científica

O benchmark chega no meio de um debate que os próprios grandes laboratórios de IA provocaram. Em junho, a Anthropic escreveu que a auto-melhoria recursiva ainda não foi alcançada, mas “pode chegar mais cedo do que a maioria das instituições está preparada”. O CEO da Anthropic, Dario Amodei, agora pede uma desaceleração controlada no desenvolvimento de IA, enquanto a OpenAI reconhece que o RSI totalmente autônomo ainda não acontece e diz que só deve ser buscado se houver supervisão humana garantida.

Um estudo da Fudan University sobre desenvolvimento de IA com agentes de IA mostra o tamanho da distância prática. Os pesquisadores analisaram o desenvolvimento do próprio modelo e descobriram que os agentes contribuíram com até 55% das propostas de metodologia, mas os humanos ainda tomaram mais de 85% das decisões finais. Os autores destacaram que ainda não está claro como a IA pode gerar direções de pesquisa diversas e avaliar seu valor antes de os resultados aparecerem, exatamente o tipo de decisão que o TasteVal tira do prato dos modelos.

Se a tendência medida pelo TasteVal se sustentar em outros testes, as implicações cortam nos dois sentidos. O desenvolvimento de IA ficaria mais rápido e mais barato, mas ao mesmo tempo uma fatia crescente da pesquisa se tornaria mais difícil de ser verificada por humanos, afinal, os modelos estariam planejando e avaliando os próprios experimentos.

O que é RSI? Auto-melhoria recursiva: cenário hipotético em que um sistema de IA desenvolve uma versão melhor de si mesmo de forma autônoma, sem intervenção humana direta.

📲 Essa história ainda tem desdobramentos pela frente. Para não perder nenhum avanço na corrida da IA, entra no Canal do TS no WhatsApp.

Fonte: The Decoder

- Publicidade -
Rockweew

Escrito por

Rockweew

Vivi a era Habbo, Orkut e afins... claramente a melhor fase pop da internet. Aqui tento noticiar o diverso mundo mobile, mas não se surpreenda se eu publicar algo sobre música, entretenimento e tecnologia em geral.