L’entreprise pour laquelle je travaille a récemment migré notre site de commerce électronique de Celerant vers Magento. Malgré l'utilisation d'un fichier robots.txt et d'une extension de redirection 301, les outils pour les webmasters signalent que nos erreurs "non trouvées" augmentent chaque jour, voire plus de 200 000, toutes sur notre ancien site.
J'ai essayé 301 redirections qui ne semblent pas fonctionner et ensuite bloquer les URL avec le fichier robots.txt avec Disallows, y compris les caractères génériques, mais les erreurs continuent à augmenter. Tout avis serait grandement apprécié. Voici n exemple de l'une de nos 404 URL.
Voici comment nous avons essayé de le bloquer dans notre fichier robots.txt. Est-ce correct?
A l'origine nous utilisions:
Disallow: /category.cfm
Il y a quelques jours, nous avons décidé d'essayer:
Disallow: /*category
Votre syntaxe d'origine pour robots.txt était la syntaxe correcte: Disallow: /category.cfm
Webmaster Tools rapporte des informations que Googlebot a peut-être analysées il y a quelque temps au moment de leur traitement. Par conséquent, vos erreurs 404 peuvent se développer même si vous n'autorisez pas Googlebot à rediffuser les informations. urls.
Les redirections 301 sont vraiment la bonne façon de gérer ce genre de choses. Dans l'exemple que vous avez donné pour la page de la marque paris, votre moteur de recherche semble faire un travail décent pour gérer cela: http://boardshop.bcsurf.com/search?w=paris recommande 301 de rediriger cette page de marque vers votre moteur de recherche.