Nvidia SoL-Pi: Como cortar custos de tokens em agentes de IA

Executar agentes de IA autônomos por longos períodos faz com que o consumo de tokens dispare rapidamente à medida que previsões viram longas correntes de raciocínio. Segundo pesquisadores da Nvidia, o desperdício muitas vezes não está no modelo em si, mas na camada de controle que gerencia como o agente interage com o ambiente.
Quais mecanismos o SoL-Pi usa para eliminar o desperdício?
A equipe da Nvidia desenvolveu um sistema automatizado que analisa execuções anteriores e implementa quatro estratégias de otimização na estrutura de controle:
- Action Fusion: Une duas etapas consecutivas, como uma edição de código seguida de um teste, eliminando uma chamada inteira ao modelo de linguagem.
- Online Context Compact: Limpa o contexto acumulado após cada etapa de planejamento sem perder informações essenciais.
- ObservationPack: Arquiva saídas longas de ferramentas e insere um resumo curto nas etapas seguintes.
- Evidence-Preserving Reducer: Envia logs extensos de erro para um modelo mais barato que resume os achados principais, verificando se nenhuma pista crítica foi perdida.
A variante mais eficiente que combina essas quatro abordagens consome 49% menos tokens e mantém 93,7% da pontuação original no benchmark EdgeBench.
Qual é a economia financeira prática para equipes?
Em termos práticos, o custo de uma bateria de testes caiu de US$ 1.339 para US$ 894. Os autores estimam uma economia de US$ 8,75 a US$ 13,50 por hora em comparação com os harnesses nativos do Codex e do Claude Code.
Ainda assim, existem concessões operacionais. Contextos mais curtos podem reduzir o aproveitamento do cache de prompts, e os ganhos variam conforme a complexidade do benchmark escolhido para a tarefa.
Fontes
Perguntas frequentes
- O que faz o sistema SoL-Pi da Nvidia?
- O SoL-Pi otimiza automaticamente a camada de controle entre o modelo de IA e seu ambiente de trabalho, reduzindo o uso de tokens em até 49%.
- Quanto é possível economizar com o SoL-Pi?
- A estimativa aponta uma economia de US$ 8,75 a US$ 13,50 por hora em relação aos harnesses padrão do Codex e do Claude Code.
- Há perda de desempenho ao comprimir o contexto?
- A variante eficiente mantém cerca de 93,7% da pontuação original nos testes, embora reduções drásticas de contexto possam afetar o uso de cache de prompts.
Resumo de IA em 3 minutos
Receba grátis o que realmente importa em IA e tecnologia, direto no seu e-mail. Sem spam, cancele com 1 clique.
Comentários
0 comentáriosDeixe seu comentário
Seja o primeiro a comentar.
Continue Lendo

Meta Muse: Computador Ubuntu na nuvem para cada usuário
O agente Muse da Meta fornece um computador Ubuntu Linux completo na nuvem para cada usuário, combinando autonomia técnica e isolamento.

Google Workspace integra criação de imagens, vídeos e tradução com IA
Google integra criação de imagens, vídeos e tradução em tempo real diretamente nos aplicativos do Workspace.

Gemini liga para empresas: o que muda com o recurso do Pixel 11
O Gemini agora pode realizar ligações para empresas no Pixel 11, poupando tempo de espera em menus automáticos enquanto você mantém o controle.