Quand le robot d'exploration de Google abandonnerait-il l'analyse d'une URL avec une erreur 5xx?
Combien de fois le robot d'exploration de Google tentera-t-il de redéfinir une URL qui présente une erreur 5xx survenant par intermittence? Quand abandonnerait-il l'URL de l'index?
Lorsque Google détermine que votre site rencontre des problèmes, il ralentit la vitesse d'exploration. Si votre site réagit moins ou donne 500 erreurs à Google, Google adressera moins de requêtes par jour à l'ensemble de votre site.
Googlebot n'abandonnera jamais une URL particulière. Google va revenir et essayer à nouveau cette URL. La rapidité de son retour dépend de l’importance de l’URL. Cela peut prendre des semaines à Google pour réessayer une URL sans importance, mais il pourra le faire dans quelques heures si l'URL est bien liée à d'autres sites et a déjà été mise à jour fréquemment.
Il n'y a pas de moyen facile de mesurer cela, car il ne semble pas y avoir de limite stricte et Google est si complexe qu'il est difficile à mesurer.
Cependant, plus le service est intermittent, moins l'URL sera classée, car elle sera pénalisée. Cela m'amènerait à suppose que c'est basé sur une courbe plutôt que sur un binaire "indexé" ou "non indexé".
La seule chose dont vous pouvez être certain est de savoir si une URL est indexée ou non.