•techcrunch.com•
0 visualizações
Cloudflare ameaça bloquear robôs de IA que misturam busca e
A partir de setembro de 2026, a Cloudflare bloqueará por padrão crawlers que combinem busca, treinamento de IA e agentes, afetando como empresas como Google acessam conteúdo de sites que exibem anúncios.
A Cloudflare anunciou que, a partir de 15 de setembro de 2026, seus padrões de configuração passarão a bloquear automaticamente crawlers que mesclam funções de busca tradicional, treinamento de inteligência artificial e agentes. A medida atinge sites que exibem anúncios e afeta tanto novos clientes quanto contas gratuitas existentes, a menos que o proprietário do site ajuste manualmente as configurações.
O movimento visa dar mais controle a editoras e sites que desejam manter seu conteúdo descoberto por mecanismos de busca, mas sem abrir mão da proteção de propriedade intelectual. A Cloudflare critica a maior empresa de buscas – referindo-se ao Google – por usar o mesmo crawler para indexar conteúdo e alimentar seus sistemas de IA, o que, segundo a empresa, dá à gigante da tecnologia acesso a “2x mais informações” do que outras companhias de IA. O Google, por outro lado, já oferece um bot específico, o Google Extended, que permite que sites optem por não ter conteúdo usado para treinamento.
A decisão da Cloudflare reflete uma mudança no cenário da internet: pela primeira vez, o tráfego não humano (de bots) superou o tráfego humano, algo que não era esperado até 2025. Para lidar com isso, a empresa também anunciou a evolução de seu modelo “Pay Per Crawl” para “Pay Per Use”, que permitirá que sites cobrem empresas de IA quando seu conteúdo gerar valor. Parcerias iniciais com Ceramic.ai e You.com testarão esse modelo, pagando editores quando seu conteúdo aparecer em resultados de busca ou for acessado como conteúdo premium.
A medida pode forçar empresas de IA a separar claramente seus crawlers de busca dos de treinamento, sob risco de perder acesso a grande parte da web. Para sites, a mudança representa mais poder de negociação, mas também a necessidade de monitorar configurações. A Cloudflare espera que a iniciativa incentive um ecossistema mais sustentável, onde bots com intenção clara e transparente sejam recompensados, enquanto os “misturados” sejam bloqueados por padrão.