A AWS detalha uma abordagem de monitoramento para sistemas multiagente em produção que separa duas perguntas: se o agente está ajudando o usuário e se a infraestrutura está saudável. O exemplo usa um sistema de reservas aéreas com quatro agentes especializados.
Na camada de qualidade, o Amazon Bedrock AgentCore Evaluations pontua interações ao vivo com base em utilidade, correção e conclusão da tarefa. O texto diz que o serviço coleta uma porcentagem configurável das interações e avalia essas sessões em segundo plano, com explicações para cada pontuação. Quando surgem quedas, ele procura padrões nas sessões com pior nota e sugere ajustes em prompts, escolha de ferramentas ou lógica de coordenação.
Na camada de infraestrutura, o AWS DevOps Agent investiga incidentes por conta própria. Ele reúne logs e métricas do Amazon CloudWatch, cruza erros entre serviços como IAM e Amazon Bedrock, rastreia o caminho da falha e devolve recomendações de correção. O artigo usa como exemplo casos em que uma resposta vazia vem de uma permissão ausente ou em que uma falha silenciosa aparece como degradação do comportamento do agente.
O sistema de demonstração lida com reservas em múltiplos trechos, certificados de acompanhante e política de viagem corporativa dentro de uma única conversa. A AWS informa que o código-fonte completo está disponível no GitHub, incluindo a infraestrutura CDK, o painel de avaliação e a integração com o AWS DevOps Agent.