A AWS publicou um artigo técnico sobre o NarrateAI, um assistente conversacional usado por mais de 4.000 executivos da empresa para responder perguntas de negócios com base em dados. O texto se concentra na camada de tempo real do sistema, construída sobre o Amazon Bedrock, e descreve mecanismos que buscam manter precisão numérica e velocidade ao mesmo tempo.
O núcleo da publicação é um conjunto de cinco técnicas de garantia de qualidade. A primeira decide o caminho de processamento conforme o volume de dados da consulta: perguntas simples seguem um caminho rápido, com uma única chamada ao modelo, enquanto casos mais complexos são divididos em lotes para análise paralela. Segundo a AWS, isso evita retrabalho nas consultas mais comuns sem sacrificar o tratamento das perguntas extensas.
A segunda técnica amplia a capacidade disponível ao tratar cada combinação de modelo e conta da AWS como uma cota separada. Quando há limitação de uso em uma opção, o sistema tenta outra combinação em vez de esperar. As demais camadas validam a resposta enquanto ela é produzida: cada parágrafo passa por avaliação imediata, por avaliadores independentes em paralelo e por uma verificação específica para detectar números inventados ou incorretos.
A AWS diz que, em testes de carga com mais de 100 usuários simultâneos, o sistema suportou as requisições sem falhas por um período prolongado. O artigo é o segundo da série sobre o NarrateAI e aprofunda apenas os mecanismos de qualidade da camada de tempo real.