Anthropic publica especificação e código de sistema para verificar modelos de IA
A Anthropic divulgou o FlashProve, uma pesquisa de código aberto que busca comprovar criptograficamente qual modelo produziu uma resposta.
A Anthropic divulgou o FlashProve, um sistema em pesquisa para verificar qual modelo de IA produziu uma resposta. A proposta é oferecer uma prova criptográfica da origem do resultado, inclusive contra tentativas de disfarce feitas pela própria empresa que opera o modelo.
Segundo os pesquisadores, o sistema poderia ajudar a identificar a troca secreta de um modelo por outro mais barato ou mais caro. Também permitiria verificar alegações de terceiros, como a de que uma tarefa foi realizada por um modelo avançado de cibersegurança.
Para funcionar, os laboratórios precisariam publicar uma “impressão digital” de cada modelo. Ela seria associada a resultados e verificada sem revelar os pesos, os números internos que definem o comportamento do modelo. A equipe diz que a verificação foi projetada para ser leve e executada em um aparelho local.
A Anthropic publicou uma especificação técnica e código de vários componentes sob licença de código aberto no GitHub. A pesquisa continua; a empresa afirma que não há planos de implantar o sistema na Anthropic nem em outros laboratórios.
O que muda para você
Pesquisadores e desenvolvedores já podem consultar a especificação e o código público do FlashProve. Mas a pesquisa ainda está em andamento, e a Anthropic não planeja implantar o sistema. Para quem usa assistentes de IA, ainda não há uma ferramenta disponível para confirmar se uma resposta veio do modelo anunciado.
Minha leitura
A proposta enfrenta uma falha de confiança que costuma passar despercebida: o usuário depende da empresa para saber qual modelo respondeu. A verificação só ganha força se os laboratórios publicarem as impressões digitais e adotarem o sistema. Por enquanto, o FlashProve oferece material para pesquisa e colaboração, não uma garantia que já possa ser cobrada dos serviços de IA.
Thiago FelizolaConsultor de IA, curador do Diário da IA
