Quelle est la bonne valeur dans le fichier robots.txt pour le blog wordpress?
J'ai migré mon site wordpress de godaddy vers AWS et je l'ai converti en site php avec wordpress dans un sous-répertoire, blog . Mon site principal a peu de pages. Quand je regarde les mots-clés de contenu après quelques semaines dans Google Webmaster, à ma grande surprise, au lieu des mots-clés que mon site classait, je les vois ci-dessous.
Si je clique sur l'un d'entre eux, je peux voir que le robot va dans ces sous-répertoires dans wordpress blog et compte l'extension .jpg en mots-clés.
Pour éviter cette situation, j'ai ajouté un fichier robots.txt dans le sous-répertoire du blog afin d'éviter que cela se produise.
user-agent: *
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/wp-content/
Disallow: /blog/comments/feed/
Cela fait plus d'un mois et je vois toujours les mots clés de contenu identiques. Je voulais examiner mon fichier robots.txt et quelques sites comme yoast ont suggéré que le fichier robots.txt devrait permettre/blog/wp-content /
Je suis un peu confus quant à ce qui devrait aller dans robots.txt pour wordpress. Si j'autorise/blog/wp-content /, je me retrouve dans la situation ci-dessus.
Ma question est de savoir si cette approche est la bonne et si mon fichier robots.txt pour wordpress est correct?
La plupart des articles sur WordPress robots.txt sont totalement faux.
Vous ne devriez pas bloquer ceci dans robots.txt
Je suggère d'utiliser uniquement ce robots.txt pour le blog WordPress:
User-agent: *
Disallow: /blog/?s=*
Si vous bloquez WordPress répertoires tels que admin et includes et leur contenu, vous allez bloquer le CSS, le JavaScript et d'autres éléments pour Googlebot, ce qui rendra le rendu impossible. correctement.
À propos, des répertoires comme wp-admin ne seront pas explorés car protégés par mot de passe, vous pouvez lire ma réponse à une autre question à ce sujet.
Les mots-clés de contenu affichés dans la console de recherche de Google indiquent que vous utilisez le plus souvent ces mots-clés sur votre site Web , mais ils n'ont aucun lien avec le classement ou le trafic des mots-clés . En général, je ne consulte ces données que pour voir si mon site contient des mots clés incorrects, car cela peut se produire lorsque votre site est piraté et que quelqu'un insère d'autres mots clés, mais si vous l'utilisez pour le classement des analyses, vous l'utilisez probablement. incorrectement.
De http://www.wpbeginner.com/wp-tutorials/how-to-optimize-your-wordpress-robots-txt-for-seo/
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://domain.com/post-sitemap.xml
Sitemap: http://domain.com/page-sitemap.xml
Sitemap: http://domain.com/deals-sitemap.xml
Sitemap: http://domain.com/hosting-sitemap.xml
Essayez ci-dessous robots.txt
User-agent: *
Disallow: /blog/cgi-bin/
Disallow: /blog/wp-admin/
Disallow: /blog/archives/
Disallow: /blog/*?*
Disallow: /blog/*?replytocom
Disallow: /blog/comments/feed/
Disallow: /blog/*/trackback/*
Disallow: /blog/*/xmlrpc.php
Disallow: /blog/wp-content/uploads/*
sitemap: http://www.yourdomain.com/sitemap.xml