A AWS publicou um guia sobre o cache de prompts no Amazon Bedrock, recurso que pode reduzir em até 90% o custo dos tokens de entrada quando o mesmo contexto é enviado várias vezes a modelos de fundação. A ideia é simples: partes fixas da conversa, como documentos, instruções do sistema e definições de ferramentas, ficam registradas para que chamadas seguintes não precisem processá-las de novo.
O texto percorre seis cenários com a API Converse. No primeiro, um documento longo recebe um ponto de cache entre o conteúdo estático e a pergunta do usuário, para que o Bedrock reaproveite o material em consultas sucessivas. A AWS diz que, em testes com Anthropic Claude Sonnet 4.5 e um documento de 1.898 tokens, a segunda chamada reaproveitou 1.898 tokens do cache e processou só 28 tokens da pergunta.
O guia também mostra o cache para instruções do sistema, que podem ser reutilizadas entre mensagens, e para definições de ferramentas, útil quando uma aplicação usa vários esquemas JSON que mudam pouco. Além disso, aborda TTL misto, com tempos de expiração diferentes para partes distintas do contexto, e isolamento entre clientes com um prefixo SHA-256 do tenant_id, para evitar que um inquilino leia o cache de outro.
A AWS afirma que, em cenários com contexto repetido, a economia chega a cerca de 75% nos custos de tokens de entrada, desde que as chamadas seguintes ocorram dentro da janela de TTL. O material também recomenda a API Converse para novas aplicações, porque a sintaxe do cachePoint funciona da mesma forma entre as famílias de modelos suportadas.