web-dev-qa-db-fra.com

GoogleBot explore une page jusqu'à 3 000 fois par jour

Pour un site Web, GoogleBot analyse quotidiennement une adresse URL plus de mille fois (principalement entre 1 500 et 3 000, parfois beaucoup plus).

Le Googlebot IP est un vrai Google (par exemple: 66.249.76.21).

Ce comportement étrange (?) Dure depuis au moins deux ans. Nous sommes récemment passés de HTTP à HTTPS, mais c’est toujours le même ... La première fois que j'ai rencontré ce problème, la page Web contenait un formulaire: le GoogleBot envoyait des milliers de requêtes GET et POST pendant une très courte période, puis a soudainement arrêté ces demandes lorsque le formulaire a été annulé ... mais plus tard, il a réessayé à partir d'une autre page avec un formulaire.

Lorsque j'interdis cette URL au robot, après une courte période, une autre URL est "choisie" par le GoogleBot et explorée à plusieurs reprises (et souvent à la même période de la journée). Le dernier "très exploré" ne contient aucune forme.

Il y a quelques jours, j'ai fait un autre test: l'URL hautement analysée envoie un 302 à la page d'accueil.

Résultats: le GoogleBot suit le 302: mais ne suit aucun fichier ni lien de la page d'accueil: il envoie encore et encore la même demande GET tous les jours plus de 1000 fois.

Le résultat est que la majeure partie du budget d'exploration est gaspillée pour cette seule URL ... D'autres robots n'ont pas ce comportement.

Avez-vous déjà rencontré une observation aussi singulière? Serait-ce une sorte de test de "sécurité"?

Une idée de ce qu'il faut faire?

seogoogleweb-crawlersgooglebot
3
frederic Laudet

Si vous avez déjà un sitemap pour votre site Web, vous pouvez essayer d'ajouter cette page avec une touche spécifique changefreq. Par exemple:

<?xml version="1.0" encoding="UTF-8"?>
<urlset
      xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
            http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<url>
  <loc>http://example.com/mypage</loc>
  <changefreq>weekly</changefreq>
  <priority>1.00</priority>
</url>
</urlset>

dans le cas où votre page est http://example.com/mypage. Vous devez envoyer ce plan à Google à l'aide de Google Webmaster Tools , où vous pouvez également Modifier le taux d'analyse de Googlebot .

1
JorgenPhi