web-dev-qa-db-fra.com

Comment demander aux moteurs de recherche de réduire le taux d'analyse de robots.txt sur des sous-domaines obsolètes?

Après avoir placé mon site dans un domaine au lieu de plusieurs sous-domaines, j'ai consulté mes journaux et constaté que les moteurs de recherche (en particulier Google) analysaient le fichier robots.txt plusieurs fois par jour pour chaque sous-domaine. Je n'ai laissé les sous-domaines actifs que pour que les personnes ayant accédé aux anciennes URL puissent être automatiquement redirigées vers les bonnes URL.

J'ai supprimé mes sous-domaines (à l'exception de celui que j'utilise) de tous les comptes d'outils pour les webmasters et je n'y fais aucune référence.

Existe-t-il un moyen de réduire le nombre de fois où les moteurs de recherche analysent le fichier robots.txt sur mes sous-domaines obsolètes?

Idéalement, j'aimerais que les moteurs de recherche analysent une seule fois le fichier robots.txt trouvé sur chaque domaine obsolète, puis toutes les adresses URL nécessaires sur le sous-domaine.

googleweb-crawlersrobots.txtcrawl-rate
2
Mike

Peut-être que Google vérifie fréquemment votre fichier robots.txt, car vous avez déplacé le contenu de votre site vers un nouvel emplacement. Il n’existe aucun moyen de contrôler le taux d’exploration de robots.txt.

Mais, si votre fichier robots.txt n'a bloqué aucun répertoire, n'utilisez pas du tout le fichier robots.txt. Pour bloquer d'autres robots, vous pouvez utiliser httacess. J'ai vu la plupart des sites, n'utilisez pas le fichier robots.txt correctement. Ils spécifient useragent et leur permettent d'explorer, comme ceci,

User-agent: Googlebot
Allow: /
User-agent: Mediapartners-Google
Disallow:

Ce type de fichier robots.txt est indésirable.

Donc, utilisez uniquement Robots.txt, si vous voulez vraiment bloquer une telle chose. Pour un petit type de choses, j'ai recommandé d'utiliser balise d'en-tête X-Robots .

1
Goyllo

Vous devez conserver la configuration des sous-domaines avec des redirections vers votre domaine de premier niveau. De cette manière, l'ancien trafic atteindra un site Web fonctionnel et Google analysera à nouveau avec le temps et réalisera que tout le trafic a été dirigé ailleurs.

Ajoutez ceci à .htaccess et modifiez-le en fonction de vos sites. Url

RewriteEngine on
RewriteCond %{HTTP_Host} ^m\.example\.com$
RewriteRule ^ http://example.com/m%{REQUEST_URI} [L,P]

Lisez plus ici: https://stackoverflow.com/questions/1456956/redirect-subdomain-into-top-level-domains-folder

0
Trent