AWS detalha como medir o custo de tarefas de agentes no Amazon Bedrock
A AWS publicou um guia para combinar LiteLLM e NVIDIA NeMo Switchyard no Amazon Bedrock e comparar modelos pelo custo de tarefas concluídas. O exemplo é experimental e destinado a avaliação.

A AWS publicou um guia para implantar o LiteLLM com o plugin de roteamento NVIDIA NeMo Switchyard no Amazon Bedrock e medir o custo por tarefa resolvida por agentes de programação. O exemplo usa o AWS CDK e ferramentas de benchmark para comparar um grupo de modelos roteado com grupos que usam um único modelo cada.
A métrica sugerida divide o custo total das execuções pelo número de tarefas cujos testes passam. Segundo a AWS, o preço por token não mostra sozinho o custo de uma tarefa: ela pode exigir várias chamadas, novas tentativas ou não chegar ao fim, e todas as tentativas são cobradas.
A integração oferece roteamento por etapas, que escolhe entre dois modelos com base na atividade recente do agente, e roteamento aleatório, que distribui solicitações entre os modelos configurados. Estratégias que dependem de chamadas intermediárias de classificação não são compatíveis com essa integração.
A AWS classifica o exemplo como código para avaliação, não para produção. Ele usa o switchyard-server 0.3.0, descrito pela NVIDIA como componente de demonstração e avaliação, e a imagem LiteLLM v1.102.0. Configurações e interfaces podem mudar entre versões; a AWS recomenda testar em uma conta não produtiva e verificar os requisitos de segurança e conformidade.
O que muda para você
O guia atende equipes que desenvolvem agentes de programação e usam modelos pelo Amazon Bedrock. Elas podem adaptar o exemplo para comparar o custo por tarefa concluída com seus próprios testes, mas as chamadas feitas na avaliação são cobradas. O código é experimental e a AWS não o recomenda para produção; não é um serviço novo pronto para uso geral.
Minha leitura
A métrica por tarefa ajuda a enxergar um custo que o preço por token esconde: chamadas repetidas e trabalhos que não chegam a passar nos testes. Mas o resultado depende das tarefas escolhidas e do critério de sucesso. Eu usaria o exemplo como um método de comparação dentro de uma avaliação controlada, não como evidência de que o roteamento entre modelos vai reduzir custos em qualquer agente.
Thiago FelizolaConsultor de IA, curador do Diário da IA

