Les outils pour les webmasters de Google indiquent "Réseau inaccessible" pour robots.txt, sitemap.xml et toutes les pages du sitemap
outils de webmaster pour mon site affiche que
robots.txt inaccessible
et pour tous les liens dans le plan du site, il est dit
réseau inaccessible. sitemap.xml inaccessible.
Celles-ci apparaissent dans la page des statistiques d'analyse.
J'ai discuté avec l'équipe de support de mon hébergement et ils m'ont dit ...
Salut,
J'ai vérifié les journaux Apache, je ne vois aucun problème sur votre site web/serveur web /
Problèmes possibles.
Il peut y avoir un problème de routage du serveur googles à notre serveur.
Lorsque les résultats d'un google bots sont élevés, l'adresse IP de notre pare-feu sera automatiquement ajoutée à la liste noire afin d'éviter les charges et les temps d'arrêt du serveur.
Comme nous n’avons pas accès à leurs services, nous ne pouvons pas fournir de détails sur leurs détails/journaux, etc.
Le lien Sitemaps affiche un point d'exclamation, ce qui signifie que le fichier n'était pas accessible.
Quel pourrait être le problème et comment le résoudre?
Essayez d'explorer votre site en utilisant un faux identifiant d'agent d'utilisateur correspondant à Googlebot. (par exemple, A1 Website Analyzer vous permet de modifier l'ID de l'agent utilisateur)
Certains systèmes de "protection" de sites Web/serveurs Web vérifient également si, par exemple, robots.txt être demandé, connexions simultanées, etc. Vous pouvez essayer de faire des tests pour voir à quel point votre système de protection (le cas échéant) est agressif.
Cependant, si votre administrateur de serveur déclare lui-même qu'il a un système anti-bot, alors ... probablement, c'est la raison.
pour l'avenir, vous pouvez essayer d'ajouter crawl-delay à robots.txt