Quando a IA Supera Especialistas: O Teste de Física que Errou o Humano
De acordo com o portal The Decoder, o benchmark TheoPhysEval testou agentes de inteligência artificial em 50 problemas inéditos de física teórica. O modelo GPT-6-Astra da OpenAI alcançou o topo ao acertar 98% das questões, com um custo médio de US$ 2,40 por problema (cerca de R$ 14 na conversão aproximada, sem taxas).
Por Que o Gabarito Humano Falhou
Durante a validação, os pesquisadores descobriram que várias falhas atribuídas à IA eram, na verdade, pequenos erros nos gabaritos criados pelos próprios especialistas humanos. Após corrigir essas referências, constatou-se que a IA havia acertado todas as contas, demonstrando forte memorização da literatura especializada.
Como os Modelos se Compararam
O Opus 5.5 da Anthropic ficou em segundo lugar com 92% de aproveitamento, enquanto o Gemini 3.8 Flash da Google atingiu 68%. Modelos como DeepSeek-V4.1-Flash e GLM 5.3 pontuaram 54% e 42%, falhando muitas vezes ao copiar fórmulas dimensionais incorretas da web.
Vale a pena para a sua rotina?
Para tarefas repetitivas de cálculo e investigações preliminares comparáveis ao trabalho de doutorandos, o custo operacional de US$ 116 (cerca de R$ 670 no total do teste) demonstra viabilidade econômica expressiva. Contudo, pesquisadores alertam que a IA ainda carece de criatividade conceitual e intuição para definir quais perguntas valem a pena ser feitas.
Fontes
- GPT-6-Astra solves 49 of 50 physics research problems at $2.40 apiece — the-decoder.com
Perguntas frequentes
- Qual foi o custo médio para resolver cada problema de física?
- O custo médio ficou em torno de US$ 2,40 por questão (cerca de R$ 14), totalizando cerca de US$ 116 (aproximadamente R$ 670) para todo o teste.
- O acesso à internet mudou o desempenho dos modelos?
- Surpreendentemente, a busca na web alterou pouco os resultados. Sem internet, Astra e Opus mantiveram um índice de 92% de acertos.
Comentários
0 comentáriosDeixe seu comentário
Seja o primeiro a comentar.
