web-dev-qa-db-fra.com

Google Search Console: problèmes de santé graves, une page importante est bloquée par le fichier robots.txt

Je viens d'ajouter une nouvelle propriété à la console de recherche Google. Je l'ai ajouté comme http://example.com et http://www.example.com .

Je reçois le message d'erreur suivant: Des problèmes de santé graves sont détectés dans votre propriété. Le fichier robots.txt bloque-t-il les pages importantes? Certaines pages importantes sont bloquées par le fichier robots.txt.

La "page importante" est un lien vers la page d'accueil. L'erreur apparaît uniquement pour example.com et non pour www.example.com. Tout avec DNS est en train de se résoudre et il n'y a pas de problèmes. La redirection de www fonctionne également. Google Fetch et Render fonctionnent également.

J'ai supprimé mon fichier robots.txt, mais le problème persiste. Le fichier robots.txt que j'utilisais auparavant:

User-agent: *
Disallow:

Sitemap: http://example.com/sitemap.xml

Je ne peux pas partager le domaine que j'apprécie rend les choses plus difficiles à déboguer. Mais y a-t-il une raison pour laquelle je reçois un message d'erreur lorsqu'il n'existe aucun fichier robots.txt pour empêcher Google d'explorer?

MODIFIER:

Les erreurs d'analyse: "Google n'a pas pu accéder à votre site en raison d'une erreur DNS", erreur de recherche: "votre serveur DNS n'a pas reconnu votre nom d'hôte". et Total DNS errors: "Impossible de communiquer avec le serveur DNS." persister. J'ai utilisé l'outil Fetch as Google, qui récupère et rend le site sans aucun problème. J'ai utilisé le testeur robots.txt et il n'y a aucun problème non plus. J'ai également vérifié si Google avait mis le site en cache, ce qui est le cas. J'ai été en contact avec mon fournisseur DNS et ils m'ont assuré qu'il n'y avait pas de problèmes de ce côté. Je peux dire à partir du graphique Erreurs de site qu'il a été mis à jour hier et qu'il affiche Erreurs/Tentatives - 0/1. Je n'ai jamais eu cela auparavant sur une propriété complètement nouvelle. Aucune suggestion?

google-search-consolerobots.txt
2
ECsAUtaVku

La console de recherche Google dispose d'un outil intégré permettant de tester votre robots.txt fichier: robots.txt testeur:

Utilisez cet outil pour en savoir plus sur la cause du problème. Mon hypothèse est que Googlebot ne voit pas la version correcte de robots.txt. Il se peut qu’il utilise une version obsolète. Le DNS n'a peut-être pas encore été propagé et il voit toujours le domaine garé robots.txt.

Cela vous permettra également de tester les URL et de mettre en évidence les règles entraînant le rejet de la page.

1
Stephen Ostermiller

Il n'est pas nécessaire d'écrire l'URL de votre sitemap dans le fichier robots.txt. Je vous suggère de le supprimer de robots.txt et de le publier sur la console de recherche Google (outils pour les webmasters). Cette syntaxe n'est pas non plus correcte pour robots.txt. Si vous utilisez Disallow, vous dites aux bots de ne pas indexer une page Web. Si vous la laissez vide, cela pourrait causer des problèmes, à mon avis.

Si vous êtes à l'aise avec les agents utilisateurs et les robots d'exploration pour indexer chaque page de votre site Web, utilisez User-agent: * Allow: /

Et si vous souhaitez interdire aux agents d'utilisateurs et aux robots d'indexer certaines pages, procédez comme suit:

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /login/
Disallow: /register/
1
knif3r