web-dev-qa-db-fra.com

Utilisation de méta-balises no-index sur de jolies URL?

À présent, je me bats dans le monde du référencement et je rencontre un problème.

Disons que j'ai une page comme www.example.com/i-am-a-pretty-url, qui est réécrite par .htaccess de i-am-ugly-url.php vers le haut. version.

Si je veux maintenant que Google n'indexe pas la jolie URL, cela aura-t-il un effet si j'ajoute <meta name="robots" content="noindex" /> au fichier i-am-ugly-url.php?

Je pense que cela devrait l'être, car il n'y a pas d'autre moyen d'empêcher l'indexation d'une URL réécrite, n'est-ce pas?

Cependant, j'ai essayé cette méthode sur certaines de mes URL "non indexées" pour les supprimer de Google Index et les rediriger vers un remove.php, qui contient la méta-balise no-index. J'ai récupéré les URL en tant que Google pour explorer ces pages rapidement à plusieurs reprises, mais il n'y a pas eu d'effet pendant des jours.

Si le robot d'exploration ne considère pas la balise META, alors chaque URL réécrite sera indexée, si le robot trouve la page n'importe où. Si c'est le cas et que je supprime la balise no-index du fichier de ressources, les deux URL - la jolie URL et le fichier (* .php) seront indexés, s'ils sont mentionnés n'importe où.

Alors, comment je résous ce dilemme?

PDATE:

.htaccess sample:
RewriteEngine on
...
...
RewriteRule ^(.*)blog/$ $1artikel.php
...
...

c'est ce que je veux:
www.example.com/blog/ -> indexé
www.example.com/article.php -> non indexé

5
BeAnonymous

Il existe un moyen de définir des en-têtes lors de la réécriture. Ceci est basé sur cette réponse Stackoverflow et je l'ai utilisé avec succès pour l'un de mes clients.

Un exemple d'implémentation serait de définir une variable d'environnement lors de la réécriture:

RewriteRule PATTERN DESTINATION [ENV=NOINDEX:true]

Ensuite, traitez toutes les requêtes étiquetées avec cette variable d’environnement (NOINDEX) pour ajouter l’en-tête X-Robots-Tag:

Header set X-Robots-Tag "noindex, follow" env=NOINDEX

Vous pouvez lire plus d'informations sur cet en-tête qui remplace la méta-balise sur cette page Google , mais sachez que peu de moteurs de recherche pourraient ne pas le prendre en charge pour le moment.

1
brclz