Pour les documents générés avec un nouvel identifiant de version, comment dois-je gérer les anciennes URL? Robots.txt, 301 rediriger ou créer des URL permanentes?
Le site sur lequel je travaille compte environ 800 produits, dont certains peuvent comporter jusqu’à 2000 dessinsPDF et CAD.
Les liens vers ces fichiers PDF et CAD sont combinés en un seul objet, puis liés à une page de produit avec la structure d'URL suivante:
$domain/downloads/download/product/$combination_id
Comme il y a tant de dessins, nous avons créé un système qui supprime complètement les combinaisons et les régénère (en créant de nouvelles combinaisons_id dans le processus).
J'ai demandé à Google de ne pas indexer ces URL et elles n'apparaissent pas dans les résultats de recherche organiques.
Cependant, Google Webmaster Tools a récemment indexé le site et a généré un nombre considérable de 404 pour les anciens identifiants de combinaison supprimés.
Ma question est, devrais-je:
Bloquez ces URL avec une règle/downloads/download/product robots.txt?
Créer des redirections 301 pour chaque ancienne combinaison qui devraient ensuite être mises à jour chaque fois qu'une nouvelle version d'un dessin est ajoutée?
"Slugify" les ID de combinaison afin qu'ils ne changent pas lorsque les dessins sont mis à jour et créent des redirections 301 pour toutes les combinaisons existantes.
En apparence, il ne s’agit vraiment que d’une page (parmi beaucoup) qui est en train d’être mise à jour (avec des fichiers PDF et des fichiers CAD), plutôt que d’une page entièrement nouvelle - bien que semblerait être comment vous avez actuellement mis en œuvre cela.
Par conséquent, je pense que l'URL doit rester cohérent et ne pas changer. Donc, cela concerne votre option n ° 3: "Slugify l'identifiant de la combinaison afin qu'ils ne changent pas". Vous devrez implémenter des redirections 301 pour toutes les "anciennes" URL (ID de combinaison).
Si vous avez bloqué les anciennes URL avec robots.txt, les URL elles-mêmes pourraient rester indexées pendant une période prolongée, car redirect ne sera pas visible. À moins bien sûr que votre intention soit de bloquer tous les URL du produit (mais je ne pense pas que vous suggérez vraiment cela)?