Empêcher les pages d'être explorées avec des paramètres spécifiques encodés en URL
Lors de l'affichage du rapport Google Webmaster Tools, certains paramètres codés par une URL, tels que %5c et %22, apparaissent dans les URL du site.
Nous avons essayé d'identifier le problème et avons constaté qu'en raison d'une structure incorrecte dans deux des liens, des\"(barres obliques et") avaient été créés sur le site, ce qui a maintenant été corrigé.
Nous les avons supprimées et corrigées, mais nous pensons que Google explore maintenant certaines des pages avec des barres obliques et des caractères %22, qui apparaissent dans les Outils pour les webmasters en tant qu'URL en double.
Existe-t-il un moyen robots.txt, via Google Webmaster Tools ou via . Htaccess pour permettre à Google de ne pas suivre les liens ni explorer les pages avec une barre oblique ou %22 dedans? Le site est construit sur la plate-forme Joomla CMS.
Googlebot observe les correspondances entre les modèles, mais d’autres robots des moteurs de recherche ne le peuvent pas.
Vous pouvez ajouter ces modèles à votre fichier "robots.txt". Voir la section intitulée "Correspondance de modèle" ici: Outils Google Webmasters: bloquer ou supprimer des pages à l'aide d'un fichier robots.txt
Comme indiqué, vous pouvez utiliser un astérisque * pour indiquer un caractère ou une chaîne de caractères contenus dans les URL que vous souhaitez bloquer.
L'exemple qu'ils fournissent consiste à bloquer toutes les URL contenant un ?:
User-agent: Googlebot
Disallow: /*?
Vous pouvez ensuite tester votre fichier robots.txt en suivant les étapes au bas du lien ci-dessus.
Je ne comprends pas très bien si vous vouliez dire une barre oblique / ou une barre oblique inverse \. Si vous entendez en fait une barre oblique /, notez que vous devez faire très attention en essayant de le bloquer car cela pourrait entraîner le blocage de tous les répertoires. Par exemple, cela bloquera tout le site:
User-agent: Googlebot
Disallow: /