web-dev-qa-db-fra.com

Bing a arrêté d'indexer le site après avoir interdit tous les robots, à l'exception de Googlebot, Yahoo-Slurp et Msnbot.

Bing a enlevé mes premières pages des résultats, il y a 3 jours, ils montraient à la première page. J'ai peut-être mis à jour le fichier robots.txt il y a quelques semaines. Quelqu'un peut-il vérifier sous le modèle s’il ya un problème qui empêche bingbot d’indexer mes premières pages. Merci d'avance

User-agent: * 
Crawl-Delay: 20

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Yahoo-Slurp
Disallow: 

User-agent: Msnbot
Disallow:
robots.txtbingbing-webmaster-toolsbingbot
3
Rebbica

Msnbot n'est qu'un des agents utilisateurs que les utilisateurs de Bing, et ce n'est même pas le principal. Selon https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec

  • Bingbot - Principal robot d'exploration de bing
  • Msnbot - Vieux robot d'exploration, utilisait encore certains
  • MSNBot-Media - Crawler d'images et de vidéos
  • AdIdxBot - robot d'exploration de annonces
  • BingPreview - Aperçu du robot

Pour permettre à Bing d'indexer votre site, vous devez au minimum autoriser Bingbot :

User-agent: Bingbot
Disallow:

Vous pouvez conserver la section Msnbot et ajouter les autres agents utilisateurs Bing.

Votre agent utilisateur pour Yahoo n’est pas correct non plus. Selon https://help.yahoo.com/kb/learn-submit-website-yahoo-robotstxt-directive-sln2213.html c'est juste Slurp plutôt que Yahoo-Slurp .

Bien que l'agent utilisateur principal de Googlebot soit correct, Google répertorie de nombreux agents utilisateurs avec lesquels il analyse. Vous pouvez également autoriser l'exploration de certains autres. Leur documentation est ici: https://support.google.com/webmasters/answer/1061943?hl=fr

Un autre problème est que vous avez deux sections User-agent: *. Je dirais que vous devriez les combiner, mais la directive Crawl-Delay ne sera utilisée par rien. Vous interdisez tous les robots qui utiliseraient cette section. Si vous souhaitez spécifier un délai d'analyse pour Googlebot, Yahoo ou Bing, vous devez ajouter le délai d'analyse dans leur section. Une fois que vous avez créé une section spécifique pour un bot, la section * est complètement ignorée. Notez que Googlebot ne prend pas du tout en charge les délais d’analyse.

Pour faire ce que vous voulez, je vous recommande au moins le fichier robots.txt suivant. Vous pouvez également autoriser certains robots d'exploration de Google et de Bing.

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow:

User-agent: Slurp
Crawl-Delay: 20
Disallow: 

User-agent: MSNBot
Crawl-Delay: 20
Disallow:

User-agent: MSNBot-Media
Crawl-Delay: 20
Disallow:

User-agent: Bingbot
Crawl-Delay: 20
Disallow:
2
Stephen Ostermiller