Comment modifier ou supprimer des fichiers robots.txt sur un site Web WordPress

Question

Lors de l'utilisation du test de récupération de Google sur mon site WordPress, il indique que mon fichier robots.txt bloque l'indexation des pages et des ressources.

Google indique que mon fichier Robots.txt ressemble à ceci:

User-agent: *
Disallow: /

Comment puis-je résoudre ce problème?

• Où puis-je trouver le fichier robots.txt?
• Comment modifier ou supprimer ce fichier?

Answer 1

Vous devez supprimer les deux lignes de votre fichier robots.txt. Le fichier robots se trouve dans le répertoire racine de votre dossier d’hébergement Web. Il se trouve normalement dans /public_html/ et vous devriez pouvoir modifier ou supprimer ce fichier en utilisant:

• FTP en utilisant un client FTP tel que FileZilla ou WinSCP
• SFTP (protocole de transfert de fichiers SSH) à l'aide d'un client SFTP tel que FileZilla ou WinSCP
• SSH en utilisant un client SSH tel que PuTTY
• WebDev (Web Disk) utilisant un système d’exploitation compatible qui permet de mapper les lecteurs WebDav.
• WordPress utilisant un plugin robots.txt WP)

Answer 2

S'il s'agit d'une nouvelle installation de Wordpress, il est possible que vous ayez défini les paramètres de confidentialité pour empêcher les moteurs de recherche d'analyser le site.

(et il n'y aura pas de fichier robots.txt physique sur le serveur, car wordpress le crée à la volée)

Accédez à vos paramètres dans wordpress et voyez si cette case est cochée:

Si tel est le cas, décochez-la et le fichier robots.txt deviendra

User-agent: *
Disallow: 

Si vous rencontrez toujours des problèmes et que le fichier robots.txt est toujours configuré pour bloquer les robots d'exploration, explorez l'autre option décrite par Facet.

Answer 3

Vous devez mettre à jour le fichier robots.txt dans WordPress via Cpanel, car lorsque vous installez les plug-ins Yoast SEO, il génère automatiquement un fichier de robots pour votre site. Mais si vous voulez vraiment le modifier avec vos propres instructions, connectez-vous à votre serveur d’hébergement-> gestionnaire de fichiers puis modifiez-le.