OpenAI, Google, Microsoft e Anthropic apoiarão sinal comum contra raspagem de sites
As quatro empresas dizem que adotarão um padrão para sites expressarem preferências sobre o uso de seu conteúdo por rastreadores de IA. A Meta apoiou a proposta, mas não confirmou adesão.
OpenAI, Google, Microsoft e Anthropic dizem que adotarão um padrão para que sites indiquem se permitem que seus conteúdos sejam coletados por rastreadores de IA. O sinal comum ficará no arquivo robots.txt e permitirá que os responsáveis por sites expressem suas preferências para várias empresas, em vez de configurá-las separadamente para cada uma.
Chamado de “policy token”, o sinal foi proposto por Kevin Kelley, responsável técnico por padrões na Anthropic, no âmbito da Internet Engineering Task Force (IETF). As quatro empresas afirmam que restringirão seus rastreadores ao encontrar o token. A Anthropic já o adotou; a OpenAI diz que o implementará nos próximos meses, enquanto Google e Microsoft planejam oferecer suporte no próximo ano.
A Microsoft diz que oferecerá controles separados para recusar o uso de conteúdo em treinamento de IA ou em fundamentação, processo que direciona um modelo a fontes verificadas. Ainda assim, os sites continuarão nos resultados de busca do Bing. A Meta manifestou apoio ao sinal, mas não confirmou se irá respeitá-lo.
O que muda para você
A proposta interessa a quem administra sites e quer definir como rastreadores de IA podem usar seu conteúdo. A Anthropic já adotou o sinal; a OpenAI prevê implementá-lo nos próximos meses, e Google e Microsoft, no próximo ano. Para leitores e usuários de IA, a notícia não indica mudança imediata. A Meta apoiou o padrão, mas não confirmou que seguirá suas regras.
Minha leitura
Um sinal comum pode simplificar o controle para quem publica conteúdo, mas sua eficácia depende de cada empresa respeitá-lo. A Anthropic já adotou o padrão; as outras empresas ainda estão em fases diferentes de implementação, e a Meta não confirmou adesão. Também há uma distinção importante: controlar o uso para treinamento não significa necessariamente sair dos resultados de busca. A Microsoft diz que os sites continuarão aparecendo no Bing.
Thiago FelizolaConsultor de IA, curador do Diário da IA
