Y a-t-il une raison d'autoriser Yahoo! Slurp pour explorer mon site?
Je pensais il y a un an ou plus Yahoo! utiliserait un autre moteur de recherche pour obtenir des résultats et n'utiliserait plus son propre bot Slurp. Cependant, quelques sites que je gère Yahoo! Slurp continue à explorer les pages et semble ignorer le code d'état Gone lorsqu'il est renvoyé (car il revient sans cesse).
Y a-t-il une raison pour laquelle je ne voudrais pas bloquer Yahoo! Slurp via robots.txt ou par IP (car il a tendance à ignorer de toute façon le fichier robots.txt)?
J'ai confirmé que lorsque le bot frappe, il provient de Yahoo! Les IP, donc je crois que c'est une instance légitime du bot.
Est-ce que Yahoo Search est identique à Bing Search maintenant? est une question connexe, mais je ne pense pas que cela réponde complètement à la question de savoir s'il faut ajouter un nouveau bloc du bot.
J'aimerais pouvoir trouver l'article que j'ai lu il y a environ 3 mois. Cependant, la version courte indique que Yahoo utilise l'index (entièrement) et l'algorithme (principalement) de Bing. Yahoo est toujours en train d'explorer son propre bot pour apporter de petites modifications aux résultats de la recherche et pour d'autres projets.
En bref, l'interdiction du bot pourrait vous écarter complètement des SERP de Yahoo (mais n'aurait aucun effet sur Bing).
UPDATE: Ce fil sur webmasterworld a quelques messages intéressants.