Ahrefs vérifie tout le temps les backlinks sur mon site
J'ai un site Magento et je me rends compte que le robot ahrefs.com visite mon site tout le temps. Je visite ahrefs.com et je vérifie mes backlinks (ils sont bons).
- Est-ce bon ou mauvais, quelque chose comme ça? (À vérifier tout le temps). Googlebot n'explore pas mon site tout le temps.
- Peut-être que cela ralentit mon site? (nombreuses demandes)
- Puis-je réduire les temps qu'il vérifie?
... vous pouvez contrôler la fréquence d’AhrefsBot visitant votre site en spécifiant le délai minimum acceptable entre deux requêtes [consécutives] de notre bot comme suit (dans le fichier robots.txt):
User-Agent: AhrefsBot
Crawl-Delay: 2
où la valeur du paramètre Crawl-Delay est le temps en secondes (vous pouvez également utiliser des fractions de seconde)