web-dev-qa-db-fra.com

Comment résoudre le problème Robots.txt avec une nouvelle installation de WordPress?

J'ai installé une nouvelle copie de WordPress il y a quelques semaines et j'ai eu des problèmes étranges.

1- Je reçois le message suivant: "Commentaires sur Prénom Nom Nom-last.com/ La description de ce résultat n'est pas disponible en raison du fichier robots.txt de ce site. En savoir plus." Quand je recherche mon nom sur Google. J'ai re-vérifié le réglage et je n'ai pas coché l'option "décourager"

2- J'ai installé WP Better Security et le plugin Yoast SEO. Maintenant, j'ai un autre problème!

Lorsque je recherche mon domaine dans RANDOM Web Sniffing, des sites Web apparaissent qui exposent mon serveur de données et bien plus encore!

Où me suis-je trompé ?

PS: mon fichier robots.txt a été corrigé de manière à interdire uniquement le plug-in depuis hier (pas trop longtemps)

seoplugin-wp-seo-yoastrobots.txt
1
0bserver07

Votre fichier de robots à partir de maintenant:

User-agent: Googlebot
Disallow: 
User-agent: *
Disallow: 
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.yadfaeq.com

Vous ne spécifiez rien pour Googlebot, vous devez donc le supprimer. De plus, Disallow: pourrait être interprété comme Disallow: /, ce qui bloquerait tout votre site.

Ce que votre fichier de robots devrait être:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.yadfaeq.com

Google met souvent en cache le fichier robots.txt , de sorte qu'il peut prendre un certain temps pour en rechercher un nouveau. Je vous suggère d'utiliser Google Webmaster Tools pour contrôler le type d'indexation de Google.

Je ne vois pas les modifications que vous avez apportées à votre fichier robots.txt . Peut-être que votre serveur le cache également?

1
epilektric