Nvidia SoL-Pi: Como cortar custos de tokens em agentes de IA

Executar agentes de IA autônomos por longos períodos faz com que o consumo de tokens dispare rapidamente à medida que previsões viram longas correntes de raciocínio. Segundo pesquisadores da Nvidia, o desperdício muitas vezes não está no modelo em si, mas na camada de controle que gerencia como o agente interage com o ambiente.

Quais mecanismos o SoL-Pi usa para eliminar o desperdício?

A equipe da Nvidia desenvolveu um sistema automatizado que analisa execuções anteriores e implementa quatro estratégias de otimização na estrutura de controle:

• Action Fusion: Une duas etapas consecutivas, como uma edição de código seguida de um teste, eliminando uma chamada inteira ao modelo de linguagem.
• Online Context Compact: Limpa o contexto acumulado após cada etapa de planejamento sem perder informações essenciais.
• ObservationPack: Arquiva saídas longas de ferramentas e insere um resumo curto nas etapas seguintes.
• Evidence-Preserving Reducer: Envia logs extensos de erro para um modelo mais barato que resume os achados principais, verificando se nenhuma pista crítica foi perdida.

A variante mais eficiente que combina essas quatro abordagens consome 49% menos tokens e mantém 93,7% da pontuação original no benchmark EdgeBench.

Qual é a economia financeira prática para equipes?

Em termos práticos, o custo de uma bateria de testes caiu de US$ 1.339 para US$ 894. Os autores estimam uma economia de US$ 8,75 a US$ 13,50 por hora em comparação com os harnesses nativos do Codex e do Claude Code.

Ainda assim, existem concessões operacionais. Contextos mais curtos podem reduzir o aproveitamento do cache de prompts, e os ganhos variam conforme a complexidade do benchmark escolhido para a tarefa.