AWS detalha treinamento por reforço para tarefas com várias etapas no SageMaker AI

A AWS publicou um guia prático de Multi-Turn Reinforcement Learning (MTRL) no Amazon SageMaker AI. O material mostra como treinar e avaliar um agente que executa tarefas em várias etapas, com um jogo de Wordle hospedado no Amazon Bedrock AgentCore como exemplo. O guia também permite hospedar o agente em infraestrutura própria, como Amazon EKS, EC2 ou AWS Fargate.

No MTRL, o agente recebe uma tarefa, age por várias rodadas e informa uma recompensa ao final. O treinamento usa o resultado da sequência inteira, sem exigir rótulos para cada passo. O guia percorre a implantação do agente, a preparação dos dados, o treinamento e a avaliação em condições de uso.

Na execução relatada pela AWS, o gpt-oss-20b passou de 61% para 84% de acerto em palavras não usadas no treinamento, com o nível padrão de raciocínio. No nível baixo, usado durante o treinamento, a taxa subiu de 15% para 69%. A AWS estima cerca de US$ 339 em tokens de treinamento e cerca de US$ 79 pelo uso do AgentCore nessa execução.

A empresa ressalva que Wordle é um exemplo didático e que modelos avançados já jogam bem. O guia sugere aplicar o método a tarefas específicas de negócios, mas não demonstra resultados nessas tarefas. Segundo a AWS, os dados, o agente e o modelo treinado permanecem na conta do usuário.