Tráfego de bot é qualquer tráfego não humano que visita um site. O termo tráfego de bot é geralmente visto como negativo, mas, em última análise, depende do que o bot está tentando alcançar. Com tanto mal entendido sobre o tráfego de bot, estamos analisando os diferentes bots envolvidos e o que isso significa para o seu site.

Em um mundo em que bilhões de usuários interagem on-line todos os dias, a internet pode parecer um lugar agitado. Com os usuários gostando de fotos, retweetando mensagens e comentando votos positivos, a quantidade de tráfego diário da Web na Internet atinge o nível mais alto de todos os tempos.

Mas quanto desse tráfego da Web é realmente real?

Nos últimos anos, houve um grande aumento no tráfego de bot online, graças à melhoria da inteligência artificial e dos serviços automatizados.

Com cada vez mais bots sendo lançados na Internet todos os dias, isso é bom para os proprietários e usuários de sites, ou apenas mais um aborrecimento?

Para responder a essa pergunta, precisamos primeiro explorar os diferentes tipos de bots automatizados existentes e o que eles fazem.

Os muitos tipos de tráfego de bot

O tráfego de bot pode ser definido como qualquer tráfego da web on-line que não seja gerado por um ser humano. Isso geralmente significa que o tráfego provém de algum tipo de script ou programa automatizado que é feito para economizar ao usuário o tempo de realizar todas as tarefas manualmente.

Esses bots automatizados podem fazer coisas simples, como clicar em links e baixar imagens, ou tarefas complicadas, como raspar ou preencher formulários. Tudo o que eles são feitos, geralmente fazem em larga escala e funcionam quase sem parar.

Com mais de 50% da Internet estimado como tráfego de bot , é claro que os bots podem ser encontrados em quase todos os lugares e em praticamente todos os sites.

Para ter uma idéia dos diferentes tipos de bots disponíveis, aqui está uma rápida descrição dos bots bons e do que eles fazem, assim como dos bots ruins.

The Good Bots

Embora o tráfego automatizado de bots tenha uma reputação bastante negativa dos webmasters, na verdade, há uma série de bons bots por aí que estão apenas tentando ajudar.

Bots de mecanismo de pesquisa

O primeiro e mais óbvio tipo de bom tráfego de bot deve ser o bots dos mecanismos de pesquisa. Esses bots rastreiam o máximo possível da Web e ajudam os proprietários de sites a listar seus sites em mecanismos de pesquisa como Google, Yahoo e Bing. Seus pedidos podem ser automatizados e listados como tráfego de bot, mas esses bots certamente são bons.

Monitorando Bots

Se você possui um site, garantir que ele esteja saudável e sempre on-line geralmente é uma prioridade para muitos proprietários. Para ajudar os usuários a garantir que seu site esteja sempre acessível, existe uma variedade de bots de monitoramento de sites por aí que efetuam ping automaticamente no site para garantir que ele ainda esteja online. Se alguma coisa quebrar ou o seu site ficar offline, você será imediatamente notificado e poderá fazer algo a respeito.

Rastreadores de SEO

Tentar fazer com que seu site seja o número um nos mecanismos de pesquisa pode ser extremamente difícil, especialmente quando você não tem muita informação. Felizmente, existe uma variedade de softwares por aí que podem ajudar a melhorar seus esforços de SEO, rastreando seu site e concorrentes para ver o que você classifica e o quão bem. Os webmasters podem usar esses dados para melhorar a visibilidade da pesquisa e o tráfego orgânico da web.

Bots de direitos autorais

Garantir que ninguém roubou suas imagens e as utilizou como suas pode ser uma tarefa desafiadora. Com tantos sites para verificar continuamente, a única solução sensata é ter um bot automatizado. Esses robôs de direitos autorais rastreiam a varredura na web em busca de imagens específicas, para garantir que ninguém esteja usando ilegalmente qualquer conteúdo protegido por direitos autorais sem permissão.

Os Bad Bots

Ao contrário dos bots bons que acabamos de mencionar acima, os bots ruins fazem coisas muito ruins no seu site e podem causar muitos danos se deixados em roaming gratuito.

Raspadores da Web

Raspadores da Web são bots maliciosos irritantes que rastreiam sites que procuram informações valiosas, como endereço de email e detalhes de contato. Em outros casos, eles roubam conteúdo e imagens de sites e os usam em seu próprio site sem permissão. Eles não beneficiam ninguém além da pessoa que o está usando para coletar dados.

Bots de spam

Se você já recebeu um e-mail ou comentário de blog bizarro de alguém, é provável que tenha havido uma confusão. Esses bots de spam adoram deixar mensagens geradas (que geralmente não fazem sentido) no blog de um site. Eles também preenchem formulários de contato em sites e proprietários de spam com mensagens promocionais.

Redes DDoS

Um dos bots ruins mais antigos e mortais do mundo deve ser o DDoS. Conhecidos como bots distribuídos de negação de serviço, esses bots geralmente são instalados em PCs inocentes das vítimas e são usados ​​para direcionar um site ou servidor específico, com o objetivo de colocá-los offline.

Esses relatórios foram abundantes, causando danos financeiros graves a sites que ficaram offline por vários dias.

Scanners de vulnerabilidade

Esses bots podem parecer bons bots dos logs do servidor de um site, mas infelizmente esse não é o caso. Existe uma variedade de bots maliciosos por aí que analisam milhões de sites em busca de vulnerabilidades e os relatam de volta ao criador. Ao contrário de bons bots que informam o proprietário do site, esses bots maliciosos são feitos especificamente para relatar a uma pessoa que provavelmente venderá as informações ou as usará para invadir sites.

Como os bots de tráfego podem ser ruins para sites?

Agora que você conhece os diferentes tipos de bots bons e mal-intencionados, como o tráfego de bot pode ser ruim para o seu site?

O importante a entender sobre os bots é que a maioria dos scripts e programas são projetados para realizar um trabalho várias vezes. Obviamente, o criador do bot deseja que o trabalho seja feito o mais rápido possível, mas isso pode trazer muitos problemas para o seu site.

O maior problema é que, se um robô está solicitando continuamente informações do seu site, isso pode levar a uma desaceleração geral. Isso significa que o site será lento para todos que o acessam, o que pode causar grandes problemas se, por exemplo, você for uma loja online.

Em casos extremos, muito tráfego de bot pode colocar todo o site offline, o que obviamente não é bom. Mas, felizmente, isso ocorre apenas em circunstâncias extremas; na maioria das vezes, os efeitos do tráfego de bot no seu site são muito sutis.

Ter muitos bots no seu site geralmente leva a coisas como:

• Mais visualizações de página
• Maior uso de largura de banda
• Google Analytics incorreto
• Diminuição de conversões
• E-mails indesejados
• Tempos de carregamento mais longos
• Custos mais altos do servidor
• Maior taxa de rejeição

Como identificar o tráfego de bot

Se você deseja verificar se seu site está sendo afetado por bots, o melhor lugar para começar é o Google Analytics.

No Google Analytics, você poderá ver todas as métricas essenciais do site, como tempo médio na página, taxa de rejeição, número de visualizações de página e outros dados analíticos. Usando essas informações, você pode determinar rapidamente se as análises do seu site foram distorcidas pelo tráfego de bot e até que ponto.

Como você não pode ver nenhum endereço IP de usuário no Google Analytics, será necessário revisar essas métricas para verificar se elas fazem sentido. Uma métrica de tempo muito baixo no site é um indicador claro de que a maioria dos visitantes pode ser bots.

Outro local para fazer check-in no Google Analytics é a seção de referências, para verificar se você não está recebendo nenhum spam de referência. Muitas empresas segmentam outros sites com um bot personalizado que envia spam para o URL do site.

Quando um webmaster verifica seu tráfego de referência no Google Analytics, ele vê o nome do site e é inclinado a visitá-lo. Por mais grosseiro que isso possa parecer, ele pode ajudar a gerar muitos visitantes no site (principalmente por curiosidade!). Pode não parecer que eles estão prejudicando seu site, mas na verdade estão distorcendo todas as suas métricas, desperdiçando sua largura de banda e entupindo o servidor em geral.

Você pode ler o nosso guia detalhado sobre como detectar o tráfego de bot aqui.

Como parar o tráfego de bot

É completamente possível impedir que o tráfego de bot prejudique seu site, mas a solução dependerá do tipo de tráfego de bot que está afetando seu site. Lembre-se de que nem todo o tráfego de bot é ruim e bloquear bots, como rastreadores de mecanismos de pesquisa, não é realmente uma boa ideia!

Se o seu site é propenso a ser manipulado por robôs, scanners de vulnerabilidade e bots de tráfego automatizados, é provável que você deseje alguma proteção na forma de firewall ou escudo. A melhor maneira de fazer isso é instalar um serviço gratuito em seu site chamado CloudFlare .

Este serviço atua como uma barreira entre o site e o usuário, o que significa que permitirá apenas que usuários legítimos acessem seu site. Quaisquer usuários suspeitos não passarão e não poderão acessar seu site. Isso significa que eles não desperdiçarão sua largura de banda, arruinarão suas análises ou roubarão seu conteúdo.

Outra maneira útil de bloquear bots é usar o arquivo robots.txt do seu site preenchendo-o com agentes de usuário ou o nome real do bot. Você pode aprender mais sobre o bloqueio de robôs no arquivo robots.txt neste guia prático . Obviamente, isso só funciona se o robô respeitar o arquivo robots.txt, o que a maioria dos bons bots faz. Se você está tentando se livrar de um bot ruim, é melhor usar a opção CloudFlare mencionada acima.

No entanto, se você deseja proteger seu site contra outras formas de bots, como cliques fraudulentos e repetitivos nos seus anúncios, precisará de outra coisa.

Proteja seus anúncios contra tráfego ruim de bot

Qualquer pessoa que publique anúncios pagos por clique no Google está sujeita ao tráfego de bot. Com tantos rastreadores por aí constantemente vasculhando o Google e seus resultados, é apenas uma questão de tempo até que esses robôs cliquem em seus anúncios e arruinem seus dados e orçamento de análise.

O PPC Protect é uma ferramenta automatizada de detecção de fraudes que identificará o tráfego de bot nos seus anúncios de pagamento por clique em tempo real.

Ao coletar muitos dados de cada clique, o software poderá detectar quando algo é suspeito e impedir que esse usuário em particular veja seus anúncios no futuro.

Isso ajuda a combater o tráfego de bot de ferramentas de SEO que rastreiam o Google e outros mecanismos de pesquisa que procuram anúncios PPC. Com muitas dessas ferramentas disponíveis, você ficaria surpreso com quantas vezes eles rastrearam resultados de pesquisa procurando anúncios e outras informações.