Quel est l'idéal WordPress robots.txt pour de meilleurs résultats?
Jusqu'à présent, mon fichier robots.txt a été configuré comme suit:
_User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
_Comme cela fait longtemps que je n’en ai pas parlé, j’ai cherché à savoir quelle est la meilleure pratique de nos jours en 2018 et si je devrais mettre à jour le fichier.
J'ai trouvé cet article de Yoast où il est dit fondamentalement de ne rien bloquer du tout et de définir le fichier robots.txt comme suit pour les meilleurs résultats:
_# This space intentionally left blank
User-agent: *
Disallow: /suggest/?*
_Hmm, maintenant je suis confus… alors que cet article de Yoast provient d'une source réputée et est une bonne lecture donnant quelques conseils, il n'explique absolument pas ce que c'est en réalité qu'ils disent aux robots de faire.
Tout d’abord, que signifie réellement _/suggest/?*_? Le "suggérer" est-il censé être juste un espace réservé? La ligne doit-elle réellement indiquer _Disallow: /?*_ à la place (sans 'suggérer')?
Et deuxièmement, est-ce vraiment le fichier robots.txt idéal pour obtenir les meilleurs résultats de référencement? Ou devrais-je m'en tenir à ce que j'ai actuellement? Ou y a-t-il une autre suggestion?
L'article que vous avez lié explique que /suggest/ est un outil de suggestion de Yoast. C'est quelque chose de spécifique à leur site uniquement (pas les sites utilisant leur plugin), donc ce n'est pas pertinent pour vous.
Donc, vous n'avez pas besoin de bloquer quoi que ce soit. Vous pouvez utiliser un fichier robots.txt vierge ou une version simple comme celle-ci, qui n'autorise rien:
User-agent: *
Disallow: