Yahoo Search est-il identique à Bing Search maintenant?
Nous avons eu de sérieux problèmes avec l'araignée de Yahoo (incroyablement) mal écrite dans le passé , et nous les avons bloqués. Marco Arment de Tumblr a également partagé ses frustrations avec nous le 31/08/2009, ce qui a contribué à les bloquer.
[Yahoo's Spider] nous a submergés avec 70-200 requêtes/seconde depuis environ 5h30 HNE. Je n'ai jamais rien vu de tel, même de leurs crawlers "expérimentaux" qui nous ont maltraités par le passé. L’interdiction de Robots.txt ne suffit pas: je dois les bloquer par IP au niveau de l’équilibreur de charge. Depuis qu'ils ont abusé de Stack Overflow dans le passé, j'ai pensé que vous voudriez peut-être savoir.
Il semble que la recherche Web de Yahoo soit "Powered by Bing!" à présent. C'est bien, parce que nous n'avons jamais eu de problème avec l'araignée de Bing (aka MSNBOT).
Donc, la recherche de Yahoo est-elle identique à celle de Bing, ou devrions-nous envisager de les débloquer potentiellement si, d'une manière ou d'une autre, ils ont arrêté de sucer si fort contre toute attente?
Je ne verrais aucune raison de débloquer le bot de recherche de Yahoo. Yahoo pourrait utiliser le moteur Bing de deux manières. Ils pourraient l'intégrer avec les leurs et créer un robot hybride sur le net ou bien simplement envoyer les requêtes dans le moteur Bing et cracher les résultats obtenus.
Du document lié à Joel, il y a un autre document ici . Yahoo y indique "À la mi-juillet, nous avons commencé à tester la transmission des résultats organiques de Bing à Yahoo!" Pour moi, cela signifie que Yahoo n'intègre pas étroitement le moteur Bing. Ils appellent simplement l'API Bing Engine. Cela serait également plus sensé du point de vue du travail requis puisque le moteur de Yahoo va disparaître à long terme.
Cela signifie que nous ne devrions plus voir Yahoo Bot explorer le Web dès que 100% des résultats sortiront du moteur Bing. Par conséquent, il n'y a aucune raison de le débloquer.
Il semble qu'ils viennent de commencer à diffuser les résultats de recherche Bing sur Yahoo! environ 25% des recherches, l’objectif étant de basculer complètement en août/septembre. Je parierais que l'araignée Yahoo ne fonctionne même plus et si c'est le cas, ce n'est pas très pertinent.
J'ai lancé une requête de recherche avec Yahoo lundi - l'accusé de réception incluait la note suivante sur la transition vers Bing, que vous pourriez trouver pertinente:
Yahoo! Search est enthousiaste à l'idée de franchir une nouvelle étape du marché Yahoo! et Microsoft Search Alliance; l’intégration des résultats algorithmiques de Microsoft est presque terminée pour les marchés américain et canadien. Yahoo! Search teste actuellement la nouvelle intégration et vous remarquerez peut-être une expérience différente lors de vos recherches. Dans ce test, certaines listes de recherche de base utiliseront les résultats Microsoft Web, Image et Vidéo. Toutes les améliorations que vous attendez de Yahoo! Les recherches sont préservées et nous continuerons d’innover en apportant de nouvelles améliorations à l’expérience de recherche.
Comme il ne s'agit que d'une étape de test, toutes les recherches ne donneront pas des résultats différents, et les modifications risquent de ne pas être évidentes. Les résultats peuvent différer pour le même mot clé d'une recherche à l'autre. Les algorithmes de classement et d'indexation étant différents, les résultats de la recherche peuvent apparaître dans un ordre différent. Les résultats de recherche qui n'apparaissaient pas avant peuvent être inclus et vous pouvez ne pas voir les résultats de recherche qui ont été inclus auparavant. Nous vous remercions de votre patience alors que nous testons minutieusement les nouveaux résultats.
Merci encore d'avoir contacté Yahoo! Chercher.