Devrais-je bloquer les robots de mon site et pourquoi?
Mes journaux sont pleins de visiteurs de bot, souvent d’Europe de l’Est et de Chine. Les robots sont identifiés comme étant Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou et ainsi de suite. Devrais-je bloquer ces robots de mon site et pourquoi?
Lesquels ont un but légitime d'augmenter le trafic sur mon site? Beaucoup d'entre eux sont SEO.
Je dois dire que je vois moins trafic si quelque chose se passe depuis que les robots sont arrivés en grand nombre.
Il ne serait pas trop difficile de les bloquer car ils admettent tous dans leur agent utilisateur qu'ils sont des bots.
Vous pouvez bloquer les robots mais cela dépend de ce que vous voulez pour votre site web.
Vous pouvez bloquer les robots des moteurs de recherche si vous ne voulez pas que votre site Web soit indexé dans un moteur de recherche particulier.
Exemple: Yandex est un moteur de recherche russe. Vous pouvez bloquer son bot si votre entreprise ne cible pas la Russie.
Vous pouvez bloquer les robots SEO si vous ne souhaitez pas utiliser leur solution d'analyse Web.
Exemple: Ahrefs est une solution d’analyse Web. Vous pouvez bloquer son bot si vous n'utilisez pas cette solution d'analyse Web.
Raison pour bloquer les bots:
- moins de robots vont sur votre site web et plus de bande passante est attribuée aux vrais visiteurs
- être en sécurité contre les robots malwares
- taille des journaux
Raison de ne pas bloquer les robots:
- les robots comme les robots des moteurs de recherche peuvent augmenter votre trafic en indexant votre site Web.
Vous pouvez en apprendre plus sur les bots en lisant FAQ de robotstxt.org .
Si vous souhaitez déterminer plusieurs robots à bloquer, vous pouvez vous inspirer de ce site Web robots.txt .
Attention, certains robots peuvent ignorer le fichier robots.txt , plus d'informations ici .
Conclusion : Vous pouvez effectuer une recherche sur la fonction des robots Internet pour déterminer si leur blocage peut être utile.
Bien que tenter de bloquer les bots puisse aider à libérer des ressources et à nettoyer vos journaux, il est important de noter que robots.txt et même d'utiliser la balise méta sur les pages noindex n'empêche pas les robots de visiter votre site. Ils peuvent toujours analyser votre site de temps en temps pour voir si le refus des robots a été supprimé. Beaucoup de robots n’utilisent même pas un agent d’utilisateur et utiliseront un agent d’utilisateur standard. Les robots auxquels je fais référence sont généralement des robots de collecte de référencement qui recherchent des backlinks et non ceux que vous trouvez généralement dans les moteurs de recherche.
Plutôt que de bloquer les robots, vous devriez simplement en tenir compte lorsque vous comptez vos visiteurs. Après un certain temps de surveillance active de votre site, vous établissez un chiffre approximatif: ce sont des robots. La plupart des gens se soucient de visites uniques et cela exclut les robots car ils reviennent constamment. De nos jours, il existe de nombreux serveurs, hébergement mutualisé pouvant gérer ces robots, si bien que les pages que vous ne voulez pas indexer, je ne vois aucune raison de bloquer ces types de robots. Bien sûr, vous avez aussi des robots nuisibles, mais ceux-ci n’utiliseront certainement pas d’agent d’utilisateur;).
Personnellement, j'estime que bloquer les robots est une perte de temps, car ils n'utilisent pas beaucoup de ressources. Les robots de référencement peuvent vous aider car ils répertorient votre site sur des pages PR0, ce qui augmente bien sûr votre PageRank et son automatisation pour ne pas être puni par eux.
Problème de journaux
Vous devez utiliser un visualiseur de journal approprié qui vous permet de filtrer certaines demandes, ce qui facilite la consultation de vos journaux. Les bons téléspectateurs peuvent filtrer beaucoup de choses comme les visites normales, les 404, etc.