AWS detalha cache de prompts para agentes que usam modelos OpenAI no Bedrock
A AWS publicou um guia sobre como reaproveitar instruções, ferramentas e histórico no Amazon Bedrock. Em um teste de seis turnos com GPT-6 Astra, o cache implícito reduziu em cerca de 62% o custo de entrada, segundo a empresa.
A AWS publicou um guia sobre padrões de cache de prompts para agentes que usam modelos OpenAI no Amazon Bedrock. O material explica como o serviço pode reutilizar partes repetidas das solicitações, como instruções, ferramentas e histórico, em vez de processá-las novamente a cada etapa.
O guia descreve dois modos: no cache explícito, o código marca o trecho a ser guardado; no implícito, o Bedrock escolhe automaticamente até onde reutilizar o conteúdo. A AWS recomenda combinar os dois quando o agente precisa de uma base compartilhada e também acumula histórico. Para entrar no cache explícito, o prefixo precisa ter pelo menos 1.024 tokens e permanecer exatamente igual entre solicitações.
Em um teste de seis turnos com GPT-6 Astra, a AWS relata redução de cerca de 62% no custo de entrada com cache implícito, em comparação com a execução sem cache. Pontos de referência explícitos em cada etapa reduziram esse custo em cerca de 61%. A empresa ressalta que os resultados dependem da tarefa e recomenda medir a economia em cada agente. Também alerta que instruções e ferramentas podem ser expostas ou exploradas, e que o cache deve fazer parte das práticas de governança de IA.
O que muda para você
O guia é voltado a quem desenvolve agentes com modelos OpenAI no Amazon Bedrock. Ele explica como configurar o cache, mas não anuncia um produto novo. Para reutilizar um trecho, é preciso manter seu texto idêntico; a economia de cerca de 62% foi observada pela AWS em um teste específico, não é garantida para outros agentes.
Minha leitura
O ganho depende de uma decisão de arquitetura: separar o que permanece igual do que muda a cada solicitação. Isso pode reduzir o custo de entrada, mas exige consistência nas instruções e na lista de ferramentas. O resultado divulgado pela AWS serve como referência, não como previsão para qualquer agente. Eu olharia para o custo do fluxo real e incluiria a exposição de instruções na avaliação.
Thiago FelizolaConsultor de IA, curador do Diário da IA
