O provedor de infraestrutura da Internet Cloudflare acusou a startup de IA perplexidade de contornar ativamente os blocos de sites e obscurecer sua identidade para extrair conteúdo de sites que optaram explicitamente com a eliminação de IA. A Cloudflare publicou pesquisas na segunda -feira detalhando como a perplexidade supostamente ignorou as regras estabelecidas e disfarçou suas atividades de rastejamento e raspagem.
De acordo com os pesquisadores da Cloudflare, a Perplexity tentou obscurecer sua identidade alterando o “agente do usuário” de seus bots, um sinal identificando o dispositivo e o tipo de versão de um visitante do site e alterando suas redes de sistemas autônomos (ASN), que são números que identificam grandes redes na Internet. Essa alegada atividade foi observada em “dezenas de milhares de domínios e milhões de solicitações por dia”, com o Cloudflare afirmando que eles foram capazes de “imprimir esse rastreador usando uma combinação de aprendizado de máquina e sinais de rede”.
A questão chegou à atenção da CloudFlare depois que seus clientes relataram que a perplexidade continuou a rastejar e raspar seus sites, apesar da implementação de regras em seus arquivos robôs. A Cloudflare realizou testes e confirmou que a perplexidade estava realmente contornando esses blocos. “Observamos que a perplexidade usa não apenas seu agente de usuário declarado, mas também um navegador genérico destinado a se passar por o Google Chrome no macOS quando seu rastreador declarado foi bloqueado”, afirmou Cloudflare.
Em resposta, o CloudFlare reduziu os bots da Perplexity de sua lista verificada e implementou novas técnicas de bloqueio. Um porta-voz da perplexidade, Jesse Dwyer, descartou a postagem do blog da Cloudflare como um “campo de vendas”, dizendo ao TechCrunch que as capturas de tela no post “mostram que nenhum conteúdo foi acessado” e reivindicando em um email de acompanhamento que o bot nomeado por Cloudflare “não é nosso”.
Este incidente não é a primeira vez que a perplexidade enfrenta acusações sobre raspagem não autorizada ou uso de conteúdo. No ano passado, os meios de comunicação, incluindo a Wired, alegaram que a perplexidade estava plagiando seu conteúdo. Semanas depois, durante uma entrevista na conferência Disrupt 2024, o CEO da Perplexity, Aravind Srinivas, teria lutado para fornecer à definição de plágio de sua empresa quando solicitado diretamente.
O Cloudflare adotou cada vez mais uma posição pública contra os rastreadores da AI, citando preocupações com o impacto no modelo de negócios da Internet, principalmente para os editores. No mês passado, a CloudFlare lançou um mercado permitindo que os proprietários e editores de sites cobrem os raspadores da AI por acessarem seus sites. O executivo -chefe da Cloudflare, Matthew Prince, alertou anteriormente que a IA está interrompendo a estrutura econômica subjacente da Internet. No ano passado, a empresa também introduziu uma ferramenta gratuita projetada para impedir que os bots raspassem sites para fins de treinamento de IA.
Source: Cloudflare: perplexidade Chrome falsificou as regras de ignição
