Como uma recompensa personalizada ensina IA a pensar em várias etapas

A AWS, braço de computação em nuvem da Amazon, anunciou um recurso que permite treinar modelos de IA com recompensas que você mesmo cria. Diferente do método tradicional, que exige exemplos prontos do que é uma resposta correta, essa abordagem usa um sistema de tentativa e erro: o modelo tenta várias respostas para um mesmo problema e recebe uma nota (a recompensa) por cada tentativa. Quanto melhor a nota, mais o modelo aprende a repetir aquele comportamento. O nome técnico é reinforcement learning com fine-tuning (RFT), e ele funciona especialmente bem em tarefas que exigem várias trocas de mensagens, como um assistente que precisa fazer perguntas antes de dar uma resposta final.

A novidade está em como essa recompensa é calculada. Em vez de uma nota única no final, a Amazon permite que você crie uma nota composta por várias partes. Por exemplo: uma parte avalia se a resposta final está correta, outra parte recompensa o modelo por fazer perguntas antes de agir, e uma terceira pune quando ele tenta chutar sem informações. Essas notas parciais são combinadas e o modelo aprende a maximizar o total ao longo de toda a conversa. Para isso, a Amazon oferece duas formas de rodar esse treino: uma mais simples, para tarefas de uma só rodada, e outra mais robusta, para conversas longas, que usa um ambiente próprio dentro da nuvem (chamado BYOO). É como dar um professor particular que avalia não só a prova final, mas cada passo do raciocínio.

Esse tipo de treino é útil porque o método antigo, chamado fine-tuning supervisionado, precisa de milhares de exemplos corrigidos à mão. Já o RFT aprende sozinho com a sua avaliação, o que economiza tempo e pode gerar modelos mais espertos. A Amazon mostra que, em testes, o modelo treinado com RFT se saiu melhor em problemas novos do que a versão treinada com exemplos prontos. Isso acontece porque o RFT incentiva o modelo a explorar estratégias diferentes, em vez de apenas copiar um padrão. Mas tem um porém: se a recompensa for mal projetada, o modelo pode aprender o comportamento errado sem que ninguém perceba, porque as curvas de aprendizado parecem normais.

Para o usuário comum, essa notícia não muda o dia a dia – você não precisa criar recompensas. Mas para quem desenvolve assistentes ou sistemas que interagem em várias etapas (como chatbots de suporte ou ferramentas de código), é um avanço importante. A Amazon também lista os erros mais comuns ao criar essas notas, como uma parte da recompensa que nunca varia (e portanto não ensina nada). Para evitar isso, eles recomendam monitorar a variação de cada componente, não apenas a nota final. O recurso já está disponível para o modelo Amazon Nova Lite 2.0, e a AWS promete que a técnica pode ser usada em outras versões também.