Primeira páginaDiário da IA
Para quem programa

AWS detalha como medir o custo de tarefas de agentes no Amazon Bedrock

A AWS publicou um guia para combinar LiteLLM e NVIDIA NeMo Switchyard no Amazon Bedrock e comparar modelos pelo custo de tarefas concluídas. O exemplo é experimental e destinado a avaliação.

Calculadora, código e tarefas concluídas junto ao símbolo AWS Bedrock representam cálculo do custo de agentes.
Ilustração editorial · Diário da IA

A AWS publicou um guia para implantar o LiteLLM com o plugin de roteamento NVIDIA NeMo Switchyard no Amazon Bedrock e medir o custo por tarefa resolvida por agentes de programação. O exemplo usa o AWS CDK e ferramentas de benchmark para comparar um grupo de modelos roteado com grupos que usam um único modelo cada.

A métrica sugerida divide o custo total das execuções pelo número de tarefas cujos testes passam. Segundo a AWS, o preço por token não mostra sozinho o custo de uma tarefa: ela pode exigir várias chamadas, novas tentativas ou não chegar ao fim, e todas as tentativas são cobradas.

A integração oferece roteamento por etapas, que escolhe entre dois modelos com base na atividade recente do agente, e roteamento aleatório, que distribui solicitações entre os modelos configurados. Estratégias que dependem de chamadas intermediárias de classificação não são compatíveis com essa integração.

A AWS classifica o exemplo como código para avaliação, não para produção. Ele usa o switchyard-server 0.3.0, descrito pela NVIDIA como componente de demonstração e avaliação, e a imagem LiteLLM v1.102.0. Configurações e interfaces podem mudar entre versões; a AWS recomenda testar em uma conta não produtiva e verificar os requisitos de segurança e conformidade.

O que muda para você

O guia atende equipes que desenvolvem agentes de programação e usam modelos pelo Amazon Bedrock. Elas podem adaptar o exemplo para comparar o custo por tarefa concluída com seus próprios testes, mas as chamadas feitas na avaliação são cobradas. O código é experimental e a AWS não o recomenda para produção; não é um serviço novo pronto para uso geral.

Minha leitura

A métrica por tarefa ajuda a enxergar um custo que o preço por token esconde: chamadas repetidas e trabalhos que não chegam a passar nos testes. Mas o resultado depende das tarefas escolhidas e do critério de sucesso. Eu usaria o exemplo como um método de comparação dentro de uma avaliação controlada, não como evidência de que o roteamento entre modelos vai reduzir custos em qualquer agente.

Thiago FelizolaConsultor de IA, curador do Diário da IA

Primeira páginaArquivo de notícias