Est-il possible de télécharger l'index Google pour mon site Web?
J'ai un client qui lance un nouveau site Web sur son domaine actuel. Je ne veux pas perdre leur classement SEO, je dois donc veiller à ce que tout le contenu indexé ancien soit correctement redirigé vers le nouveau site lors de son lancement.
Existe-t-il un moyen d'obtenir l'index de recherche de Google afin qu'aucun lien ne soit oublié lors du relancement? Il n'y a pas de plan du site, mais j'ai un compte Google Analytics.
Quand impliqué dès le début
Lors de la migration, je garde à l’esprit les URL existantes dès le début du projet. Ainsi, la plupart des liens sont déjà couverts lors du changement.
Juste après le changement, je vérifie site:example.com et vois si la plupart des liens fonctionnent encore. Si beaucoup échouent, je les passe en revue manuellement s'il y en a moins de 300.
Dans les semaines et les mois qui ont suivi le changement, je surveille Google Webmaster afin de détecter les URL endommagées.
en venant plus tard
Si je ne participais pas à la migration dès le début et que j'avais des doutes, j'écrirais probablement du code dans Python (par exemple avec Selenium) ou CoffeeScript pour analyser le résultat d'une requête Google site:example.com ou travaillez avec les journaux du serveur Web. Si vous avez des journaux depuis quelques mois, ils couvriront probablement 99% des URL indexées par Google.
Tout ce qui est indexé par Google sera vérifié régulièrement par Google. Si vous avez des journaux des dernières années, vous pouvez simplement grep sur Googlebot pour obtenir la liste de toutes les URL consultées par Google. Cela peut vous aider à démarrer: zcat access*.log*|awk '{ print $2 }'|sort|uniq (a probablement besoin de sed et d'un autre $n pour awk).
Bien sûr, je vérifierais d’abord si un tel code est déjà disponible sous une licence libre.
Naturellement, je vérifiais toujours Google Webmaster et exécutais manuellement la requête site:example.com comme décrit ci-dessus.
Méthode 1 - Recherche Google
Vous pouvez trouver ce que Google a indexé en renvoyant aux résultats les résultats exacts en recherchant site:http://www.example.com. Sachez que cette méthode peut ne pas suivre les URL les plus récentes ou que, si vous avez beaucoup de pages, Google n'en renvoie que quelques centaines.
Deuxième méthode - plan du site
Un fichier sitemap.xml est peut-être déjà présent sur le serveur et vous devriez pouvoir l'utiliser, mais vous devez également savoir que si le plan du site n'est pas mis à jour, il risque d'être obsolète. Vous devriez faire les deux sitemap.xml et site:http://www.example.com juste pour le confirmer.
Méthode trois - faible volume d'URL (stylo et papier)
Une autre méthode intéressante consiste simplement à naviguer sur le site Web et bien sûr à écrire les URL. Une fois que vous avez terminé, vous devez vous assurer de les avoir tous en faisant un bon vieux site:http://www.example.com.
Méthode quatre - copie de l'ancien site dans un sous-domaine caché
Souvent, je vais copier les anciennes informations du site dans un sous-domaine sécurisé qui requiert un mot de passe. C'est un bon moyen de faire une sauvegarde et de faire référence à l'ancien site même après la livraison du projet. Vous pouvez copier le site via FTP et sauvegarder la base de données à l'aide de phpmyadmin, puis effectuer un transfert vers un sous-domaine. Ou bien, vous pouvez convertir le site en site HTML statique en utilisant HTTrack.
La mise à jour du contenu ne constitue pas une garantie d'augmentation du classement et peut être négative
Il est important de noter que lorsque vous modifiez le contenu sur la majorité du site Web en question, vous devez informer votre client de l'attente d'un changement positif ou négatif. Si le contenu est de haute qualité, unique et non optimisé, vous devez vous attendre à ce que le négatif soit temporaire. En règle générale, les résultats négatifs sont trop optimisés, mais il est plus logique de penser aux URL, aux titres, etc.
Plusieurs spiders créeront un sitemap XML que vous pourrez utiliser pour ensuite auditer votre travail. J'en ai utilisé une il y a une fois, mais je ne trouve pas celle que j'ai utilisée et je ne me sens pas à l'aise pour faire une recommandation. Toutefois, vous pouvez effectuer une recherche: https://www.google.com/?gws_rd=ssl#q=xml+sitemap+generator+software+free J'éviterais les options en ligne et choisirais un logiciel installer. Vous remarquerez que j'ai utilisé le mot libre dans la requête de recherche. Vous pouvez supprimer ceci bien sûr. Pour cela, vous devez avoir accès au site Web et pouvoir le parcourir complètement.
Si vous ne voyez pas une option gratuite que vous aimez, je peux alors vous recommander vivement: http://www.screamingfrog.co.uk/seo-spider/ Ceci est une licence annuelle qui vous aidera à effectuer un audit. votre site et créez un sitemap XML. Cela facilitera également le référencement du nouveau site. J'utilise d'autres outils, mais Screaming Frog a une excellente réputation et a été impressionné lorsque je l'ai testé. Ce serait le prochain outil que j'ajouterais à mon arsenal personnel.
Je soupçonne que Screaming Frog aura une option pour vous et vaut la peine d'être examiné.