Agentes de IA Falham no Trabalho Real: O Teto de 12%

A maioria dos testes de IA mede a qualidade de uma resposta a um prompt. O novo benchmark GDPx, da SemiAnalysis, muda o foco para o que realmente importa: a capacidade de trabalhar. Ao colocar modelos para operar softwares profissionais e navegar em bases de dados por horas, o resultado é um choque de realidade: nenhum agente supera 12% de conclusão correta.

O motivo para índices tão baixos é a tolerância zero a erros no mundo real. Em finanças ou direito, um valor errado em uma planilha invalida todo o trabalho. Como o benchmark adota esse padrão rigoroso, até os modelos mais avançados, como o Claude Opus 5.5, sofrem para manter a integridade em fluxos de trabalho longos e multifacetados.

Eficiência versus Capacidade

Embora o Claude Opus 5.5 lidere, a descoberta mais valiosa para o seu bolso é a performance do Gemini 4 Carbon, do Google. Ele atinge 10,9% de acerto custando cerca de US$ 16 (aproximadamente R$ 90) por tarefa, um terço do preço do líder. Se você está testando fluxos de trabalho, o ganho marginal de precisão dos modelos mais caros pode não justificar o investimento triplicado.

Além disso, os dados revelam que filtros de segurança afetam drasticamente o desempenho. Ao remover domínios de cibersegurança e alinhamento do teste, o GPT-6 Astra superou o Claude Opus 5.5. Isso sugere que seus agentes podem estar sendo "limitados" por travas internas, o que pode ser um obstáculo dependendo da sua aplicação.

Como avaliar seus próprios agentes

Se você planeja implementar agentes para tarefas profissionais, não confie em benchmarks genéricos. Use este roteiro prático para testá-los:

• Defina o limite de "erro zero": Identifique quais etapas do seu processo não admitem falhas. Se o agente falha aqui, a automação é um risco, não um ganho.
• Monitore a ferramenta, não só o modelo: A performance do agente depende da integração do software. Um modelo excelente com ferramentas ruins terá um desempenho medíocre.
• Teste o atrito da segurança: Se seus processos envolvem dados sensíveis, verifique se os filtros de segurança estão bloqueando operações legítimas ou criando alucinações de restrição.

Veredito: vale a pena automatizar agora?

Se o objetivo é substituir o julgamento humano em áreas críticas como direito, finanças ou engenharia, a tecnologia ainda não está pronta. A taxa de sucesso de 12% indica que os agentes são, hoje, ferramentas de assistência — onde um humano revisa cada entrega — e não de execução autônoma. Prossiga com cautela caso esteja automatizando processos onde um erro isolado gera falhas em cascata.