A AWS publicou um artigo técnico sobre a Agent Evaluation Metric (AEM), um método para avaliar agentes de IA em conversas com vários turnos. Em vez de olhar só o resultado final, a proposta quebra a correção em partes medidas a cada turno, para mostrar onde a falha começou.
O exemplo central é o efeito cascata: um erro cedo, como usar “profit” no lugar de “revenue” numa chamada de ferramenta, pode contaminar os turnos seguintes. AEM foi apresentada justamente para distinguir o turno que causou o problema daqueles que apenas herdaram o erro.
No texto, a correção é avaliada de forma diferente para respostas e para ações. Em respostas, a métrica verifica se a mensagem cobre toda a pergunta e se está factualmente correta. Em ações, checa se todos os parâmetros obrigatórios aparecem e se seus valores fazem sentido. A comparação não depende de texto idêntico, o que permite tratar “NYC” e “New York City” como equivalentes quando o significado é o mesmo.
A pontuação final é a proporção de turnos aprovados. Quando há falha, a AEM atribui um rótulo para indicar se o problema é causa raiz ou consequência de um erro anterior. No exemplo de cinco turnos descrito pela AWS, só o turno 2 inicia a falha; os turnos 3 a 5 são marcados como erro herdado.