web-dev-qa-db-fra.com

Google a commencé à signaler des URL bloquées par robots.txt - mais ce n'est pas -

Mon site Web fonctionne depuis plusieurs années sans problème, cependant, j'ai récemment remarqué que mon URL racine sur Google ne montrait aucune description/titre.

L'outil Webmaster signale cette erreur:

Crawl autorisé?

 Non: bloqué par robots.txt Récupération de page  Echec: bloquée par robots.txt

Voici mon fichier robots.txt qui est assez simple et permet toutes les requêtes:

User-agent: *
Allow: /

J'ai confirmé que je n'avais aucune balise HTML bloquant l'index, mes robots méta sont <meta name="robots" content="index, follow" />

Je ne sais pas pourquoi je reçois ce message d'erreur. Le testeur robots.txt ( https://www.google.com/webmasters/tools/robots-testing-tool ) n'a signalé aucune erreur, mais le problème persiste depuis au moins trois semaines. .

De plus, l'URL racine renvoie HTTP 200

HTTP/1.1 200 OK
Date: Sat, 15 Sep 2018 18:41:34 GMT
Content-Type: text/html
Connection: keep-alive
Last-Modified: Sat, 15 Sep 2018 18:20:13 GMT
Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Server: cloudflare
CF-RAY: 45ad3a6cab3192d6-SJC

Une idée de ce que pourrait être le problème? Cela ne se produit que pour mon URL racine.

seogoogle-search-consoleweb-crawlersgooglebot
2
woop

Cela pourrait être dû aux raisons suivantes:

  1. Mise en cache (votre site Web ou DNS met en cache votre site et Google ne parvient pas à lire votre fichier robots.txt mis à jour.)

  2. Changez la syntaxe de votre fichier robots.txt en:

    User-agent: *
Disallow:
1
Nandla