Comment déterminez-vous quand bloquer une adresse IP ou une plage d'adresses?
Lors de l'analyse du trafic sur certains de mes sites, je remarque presque toujours une grande quantité de trafic provenant de sources obscures telles que le Japon, la Russie et d'autres pays qui n'ont aucune activité à effectuer sur mes sites.
La plupart du temps, ces "visiteurs" consultent le (s) site (s) beaucoup plus que les autres visiteurs qui semblent légitimes.
S'agit-il de bots qui indexent mes sites ou sont-ils malveillants par nature et devraient-ils être interdits à l'aide d'un filtre de refus IP?
En outre, existe-t-il une meilleure façon de gérer ces visiteurs afin que je puisse déterminer leur intention et les "éloigner" de mon site?
MODIFIER:
Si je ne peux pas déterminer l'intention de ces "visiteurs" en utilisant toutes les ressources disponibles, serais-je une mauvaise idée (en termes de référencement) de créer une page/section de mon site qui, si elle est visitée , me dirais-je sans aucun doute que les "visiteurs" sont des bots (pas des robots, mais des bots qui font levier sur le site pour exposer leurs défauts)?
S'agit-il de bots qui indexent mes sites ou sont-ils malveillants par nature et devraient-ils être interdits à l'aide d'un filtre de refus IP?
Tu nous as dit. S'ils interagissent avec votre site comme le ferait n'importe quel utilisateur normal, il n'est pas nécessaire de les bloquer. S'ils utilisent le site plus que les visiteurs d'autres régions, votre site peut alors les intéresser, alors que les utilisateurs d'autres régions.
En outre, existe-t-il une meilleure façon de gérer ces visiteurs afin que je puisse déterminer leur intention et les "éloigner" de mon site?
Avant de bloquer des adresses IP ou des plages entières d’adresses IP, vous devez vous assurer que ces utilisateurs sont malveillants. Vérifiez vos journaux. Voyez-vous des requêtes malveillantes? Voyez-vous une activité inhabituelle au-delà des visites plus longues et des demandes de page? Quels sont les agents utilisateurs qu'ils utilisent? S'identifient-ils comme des bots? Si oui, les avez-vous recherchées? Est-ce qu'ils honorent le fichier robots.txt?
Avant de pouvoir déterminer un plan d’action, vous devez déterminer s’il ya même un problème. Pour le moment, il n'y a rien de suspect ou d'inhabituel dans ce que vous avez posté ici.
Si je ne peux pas déterminer l'intention de ces "visiteurs" en utilisant toutes les ressources disponibles, serais-je une mauvaise idée (en termes de référencement) de créer une page/section de mon site qui, si elle est visitée , me dirais-je sans aucun doute que les "visiteurs" sont des bots (pas des robots, mais des bots qui font levier sur le site pour exposer leurs défauts)?
Sûr. Il suffit de mettre un lien vers une page de votre site Web que les humains ne peuvent pas trouver et qui est bloquée par le fichier robots.txt. Cela empêchera les humains et les bons robots d'entrer. Ensuite, lorsque cette page est touchée par un mauvais bot, vous pouvez la connecter. Parce qu'il n'a pas obéi à votre fichier robots.txt, vous pouvez vous en prendre à ce qu'il soit un mauvais bot et le bloque. Vous pouvez également le comparer à vos journaux pour voir ce qu'il faut faire pour prendre une décision plus éclairée quant à votre plan d'action.
Vous pouvez essayer quelque chose comme Google Analytics ( http://www.google.com/analytics/ ) qui vous permettra de voir ce qu’ils font. Vous voudrez peut-être aussi vous demander pourquoi ils n’ont pas d’affaires sur votre site et envisager de l’étendre à une communauté qui pourrait être intéressée. En outre, certains pays comme la Chine ne sont pas méchants et ne veulent pas voler des objets.