web-dev-qa-db-fra.com

"Délai d'analyse indésirable: 10" ligne ajoutée à mon fichier robots.txt

J'ai remarqué que lorsque je fais une demande sur ma page robots.txt, je l'obtiens avec une ligne crawl delay: 10 qui y est ajoutée. J'ai revérifié le fichier et il n'a pas cette ligne, alors pourquoi apparaît-il? Est-ce peut-être un comportement étrange de certains plugins?

robots.txt
3
LordSilver

Pour ceux qui utilisent WordPress comme CMS pour leur site, vous pouvez contourner les règles de votre serveur d’hébergement Web en supprimant simplement votre fichier robots.txt et en modifiant le fichier virtuel généré par WordPress. Vous devez simplement ajouter un filtre au fichier functions.php de votre thème.

Voici l'extrait de code:

//* Append directives to the virtual robots.txt
add_filter( 'robots_txt', 'robots_mod', 10, 2 );
function robots_mod( $output, $public ) {
    $output .= "Disallow: /wp-content/plugins/\nSitemap: http://www.example.com/sitemap_index.xml";
    return $output;
}

Tout ce que vous avez à faire est de modifier la sortie $ avec vos propres directives.

1
LordSilver

Pour mon site Web, j'ai eu le même problème.

Voici mon fichier robots.txt (sans le '' crawl delay: 10 '')

sitemap: https://baliradar.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/ 
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

J'ai contacté mon hébergement web et ils me confirment votre réponse

0
Didz