Problème avec Google Crawler et les résultats en cache
J'ai un client qui a 3 noms de domaine. Pour les besoins de cet argument, je les appellerai www.website1.com, www.website2.com et www.website3.com.
Il possédait auparavant un package de site Web avec VistaPrint et www.website1.com était son site Web principal pour les entreprises et son site Web2, et le site Web3 était utilisé pour rediriger vers le site Web principal.
Cependant, j'ai récemment créé un nouveau site Web WordPress pour lui. Son nom de domaine principal est maintenant www.website3.com. Les sites Web1 et site Web2 sont simplement redirigés vers le site Web principal.
Mais quand je vais sur Google et que je cherche le nom de domaine (aucun des trois), il ne me montre pas la description du site Web et il dit: ne description de ce résultat n'est pas disponible à cause des robots de ce site. txt - en savoir plus.
J'avais un fichier robots.txt mais je l'ai supprimé depuis la migration vers l'hôte du client, mais Google semble l'avoir indexé entre-temps. J'ai contacté la société d'hébergement et ils m'ont dit qu'il s'agissait d'un fichier virtuel et qu'il n'existait pas physiquement - et que le problème avec la description dans Google se produit car il a indexé le site Web alors que les robots .txt était là.
Je souhaite que toutes les références au site Web1 et au site Web2 disparaissent de Google. Je souhaite uniquement qu'il indexe www.website3.com, le site Web principal de l'entreprise, avec la description correcte du site.
Quelles sont mes options? Je me suis connecté à Google Webmaster Tools et il est toujours indiqué que le fichier est là.
J'espère que vous comprenez ce que je veux réaliser mais n'hésitez pas à demander des éclaircissements
Tout conseil sera grandement apprécié, car je souhaite résoudre ce problème le plus rapidement possible avant qu'il ne commence à nuire à la présence et à la réputation du client
Plutôt que de supprimer votre fichier robots.txt, vous devez en télécharger un qui autorise explicitement toutes les analyses.
User-agent: *
Disallow:
Lorsque vous supprimez un fichier robots.txt, Google utilise souvent l'ancien pendant une certaine période (voire plusieurs semaines) pour vous assurer que vous ne l'avez pas supprimé par accident.