Comment puis-je empêcher Googlebot d’indexer les URL de service Web?
J'ai un problème avec googlebot et bingbot pour accéder à notre service web. Nous avons une application de recherche créée dans aspx qui est intégrée dans un site Web drupal. Les utilisateurs effectuent des recherches en fonction du code postal ou de la ville via drupal et la requête de recherche est générée via aspx. Le problème est que google/bing continue d'indexer les pages de requête renvoyées par aspx et que nous recevons ensuite 404 erreurs.
Comment puis-je empêcher googlebot d’indexer le service Web? Nous sommes sur IIS 7.5. Est-ce que nous installons une règle sur le serveur? J'ai essayé de le bloquer dans le fichier robots.txt, mais je ne suis pas sûr d'avoir la syntaxe correcte.
Disallow: /*?
User-agent: Googlebot
Noindex: /office/default.aspx
Noindex: /?keyword
Noindex: /electronics/locationdetails.aspx?
Noindex: /electronics/communitydetails.aspx?
Noindex: /electronics/Communitylist.aspx?
Noindex: /office/communitysearch.aspx?
Noindex: /Electronics/Communitylist.aspx?
Noindex: /Office/LocationDetails.aspx?
Votre fichier robots.txt ne semble pas conforme à la spécification robots.txt (vous devez spécifier l'agent utilisateur avant les directives et je ne crois pas que Noindex soit une directive valide. ).
Considérez les mises à jour suivantes:
User-agent: googlebot
Disallow: /Office/LocationDetails.aspx
Disallow: /office/default.aspx
Disallow: /Electronics/Communitylist.aspx
Disallow: /electronics/locationdetails.aspx
Disallow: /electronics/Communitydetails.aspx
Disallow: /electronics/communitydetails.aspx
... vous pouvez également configurer votre serveur Web (ou votre application) de manière à ajouter les en-têtes noindex/noneX-Robots-Tag, comme indiqué en détail dans Google balise meta Robots et X -Robots-Tag Spécifications d'en-tête HTTP document.
Utilisez la balise Meta Robots "NoINDEX, NOFOLLOW" dans chaque page sous la balise head ou certaines directives sous robots.txt fera le travail à votre place.