Les robots causent-ils des problèmes de performances considérables?
Au travail, nous discutons avec des membres de l’équipe qui semblent penser que les robots nous poseront des problèmes de performance lors de l’exécution de notre site Web de services.
Notre configuration:
Disons que j'ai le site www.monsite.fr c'est une vitrine de nos services en ligne situés sur www.monsiteonline.fr.
Lorsque les internautes recherchent mysite dans Google, ils consultent mysiteonline.co.uk et mysite.co.uk.
Affaires contre l’arrêt des robots rampants:
- Nous ne stockons pas les données disponibles sur le Web.
- La plupart des robots amicaux, s'ils avaient causé des problèmes l'auraient déjà fait
- Dans notre cas, les robots ne peuvent pas explorer le site car il nécessite un nom d'utilisateur et un mot de passe.
- L'arrêt des robots avec robot .txt provoque un problème de référencement (ref.1)
- S'il s'agissait d'un bot malveillant, il ignorerait de toute façon robot.txt ou les balises méta.
Ref 1. Si nous empêchions mysiteonline.co.uk de faire explorer les robots, cela affecterait le classement SEO et le rendrait peu pratique pour les utilisateurs qui recherchent activement mysite pour trouver mysiteonline. Ce que nous pouvons prouver est le cas pour une bonne partie de nos utilisateurs.
Si la majorité de votre contenu est derrière une connexion, les bots n'y auront pas accès, ce qui limitera le temps passé sur votre site.
Les bons robots, comme ceux des principaux moteurs de recherche, définiront automatiquement leur taux d'analyse sur celui approprié pour le site. Bien qu'il y ait des histoires de bots martelant des sites, ils ont tendance à être plus vieux et on n'entend plus beaucoup parler de cela.
Pour au moins Google (et peut-être Bing mais je n'utilise jamais leurs outils de webmaster), vous pouvez définir le taux d'analyse pour votre site. Si vous constatez que vous vous faites avoir, vous pouvez leur dire de le ralentir.
Bloquer votre contenu à l'aide de robots.txt est un suicide SEO. S'ils ne peuvent pas l'explorer, ils ne peuvent pas l'indexer. S'ils ne peuvent pas l'indexer, ils ne peuvent pas l'indiquer dans les résultats. S'ils ne peuvent pas afficher vos pages dans leurs résultats, vos utilisateurs ne peuvent pas vous trouver.
Les mauvais robots sont un problème auquel tous les webmasters sont confrontés tôt ou tard. Et ils vont ignorer un fichier robots.txt. Ils doivent être traités individuellement et ce site Web contient de nombreuses solutions pour le faire .