OpenAI adiciona ambiente de computador, shell tool e contêineres à API Responses para fluxos de agentes - openai.com

A OpenAI lançou em 20 de novembro de 2024 o 'computer use' na API para modelos o1, permitindo interagir com computadores como humanos: mover cursores, clicar botões, digitar texto. Desenvolvedores criam agentes autônomos para tarefas digitais, como navegar sites, preencher formulários, usar apps desktop ou jogar games como Minesweeper. Funciona via screenshots transmitidos ao modelo, que usa visão e tool calling para ações de mouse e teclado. Disponível na Chat Completions API para o1-preview e o1-mini, e no ChatGPT para Pro e Team (Plus em breve). Inclui sandboxing, aprovação humana, limites de taxa e monitoramento de segurança.