A empresa de infraestrutura de internet Cloudflare anunciou nesta terça-feira (25) uma mudança significativa em sua política de acesso a sites: bots de inteligência artificial (IA) passarão a ser bloqueados por padrão nas páginas hospedadas por seus serviços. A medida visa proteger o conteúdo de sites contra a extração não autorizada por sistemas de IA e busca oferecer aos proprietários das páginas maior controle e possibilidade de monetização.

A iniciativa também introduz o serviço “pagamento por rastreamento”, que permitirá que os donos de sites cobrem uma taxa para liberar o acesso aos bots de IA, como aqueles utilizados no treinamento e na operação de modelos de linguagem generativa. Ferramentas como essas têm sido apontadas como responsáveis por coletar grandes volumes de conteúdo da internet sem oferecer compensação ou crédito aos autores originais.

Segundo a Cloudflare, clientes da plataforma poderão agora definir, individualmente, quais bots podem acessar seus sites e em quais etapas do ciclo da IA — como treinamento, ajuste fino ou inferência — isso será permitido. Também poderão estabelecer um preço para que esses bots possam rastrear suas páginas.

“Tradicionalmente, o acordo tácito era que um mecanismo de busca indexava o conteúdo, mostrava links relevantes e, com isso, direcionava tráfego ao site”, explicou Will Allen, chefe de privacidade e controle de produtos de mídia da empresa. “Mas esse modelo está mudando com a ascensão da IA generativa.”

Empresas como Associated Press, Time, Quora e Stack Overflow já manifestaram apoio à mudança, argumentando que as plataformas que alimentam modelos de linguagem devem ser compensadas. “Plataformas comunitárias que fomentam LLMs devem ser compensadas por suas contribuições”, afirmou o CEO do Stack Overflow, Prashanth Chandrasekar.

O novo sistema da Cloudflare se baseia em seu verificador de bots, que identifica quais rastreadores estão agindo de boa-fé — ou seja, que informam quem são, o que pretendem fazer e obedecem às regras definidas nos arquivos robots.txt dos sites. Já bots maliciosos, que ignoram essas instruções, serão combatidos com os mesmos mecanismos usados pela empresa para enfrentar ataques de negação de serviço (DDoS).

Especialistas, no entanto, alertam que a medida pode afetar negativamente pesquisas não comerciais ou iniciativas de arquivamento digital, que também dependem de rastreadores para funcionar. “Nem todos os sistemas de IA são comerciais”, disse Shayne Longpre, pesquisadora do MIT Media Lab. “Pesquisas abertas e uso pessoal não devem ser sacrificados.”

A Cloudflare afirma, no entanto, que o objetivo é justamente promover uma web mais aberta e sustentável, dando aos criadores de conteúdo o direito de decidir como e por quem seu material será usado.