A AWS publicou um guia sobre o Amazon Bedrock AgentCore Evaluations para sistemas multiagente. O foco não é só verificar se o agente responde bem, mas também se ele escolhe a ferramenta certa, respeita restrições e explica por que chegou a uma decisão.
O material descreve um fluxo em três camadas. A primeira usa avaliadores prontos para checar dimensões gerais, como utilidade e conclusão da tarefa. A segunda adiciona avaliadores personalizados para regras específicas do negócio, por exemplo, validar se uma recomendação respeita orçamento, usa dados reais de inventário ou produz uma saída coerente com a operação. A terceira camada trata da explicabilidade: verifica se o agente cita evidências, explicita restrições, mostra trade-offs e diz quais suposições fez quando faltam dados.
Para tornar isso concreto, o guia usa a empresa fictícia AnyCompany Retail e um sistema multiagente de cadeia de suprimentos criado com o Strands Agents SDK. O exemplo combina um agente orquestrador e subagentes de otimização, distribuição, rotas e análise, todos executados no Amazon Bedrock AgentCore.
O texto também diferencia dois modos de avaliação. O modo sob demanda serve para testes e validação durante o desenvolvimento; o modo online acompanha execuções em produção, com amostragem de registros e alertas no CloudWatch.