Connaître votre concurrence en ligne comment révéler les domaines directeurs de 301
Je crois sincèrement que tout webmaster qui entre dans un créneau devrait enquêter au préalable sur sa concurrence en ligne pour savoir à quoi il se confronte et pour voir si ses objectifs sont réalistes et d'un coût abordable, en temps et en argent.
Comme vous le savez peut-être, il existe plusieurs moyens d’enquêter sur vos concurrents en ligne. Classements, classements locaux, citations, mentions sociales et bien sûr des backlinks. Cette question n’est liée à aucune des questions ci-dessus, mais elle l’est un peu parce qu’elle vise le même objectif final, que vous verrez momentanément.
J'espère donc que ma question et les réponses à suivre pourront aider un autre webmaster à faire face au même problème. Je vais illustrer le problème comme un scénario qui, espérons-le, vous donnera une idée de ce que je crois et de ce que je demande.
Le scénario
Votre site Web occupe le premier rang depuis près de 2 ans dans un créneau relativement concurrentiel. Alors, sort de nulle part, vous tombez dans le classement et un site qui n'a jamais été à la page 10, tant pis pour la position 10, devient tout à coup en tête.
Une réaction immédiate peut être un acte criminel et vous examinez leur contenu et leurs backlinks, mais constatez que leur contenu est extrêmement fin et qu'ils n'ont aucun backlink. Donc, la possibilité est que les backlinks n’ont pas encore été indexés pour ce site avec l’outil que vous utilisez pour vérifier ces derniers. Ou, Google pour une raison quelconque a fait une erreur qui va se résoudre.
4 mois plus tard, le même site mince avec 0 backlinks (seuls ceux de bot/scrapers attendus - webstats, etc.) reste en tête du classement.
Donc, il semble que ce site est là pour rester et vous commencez à penser à d’autres raisons pour lesquelles votre site est surclassé.
Une raison possible pourrait être que votre propre classement a glissé, de même que de nombreux autres sites, mais il est irréaliste de classer tous ces sites dans le classement. La seule façon d'avancer serait de croire qu'ils ont gagné leur classement grâce à la réputation de Google ou à un jeu déloyal. . La conclusion serait ici - ou du moins la mienne - que le site en question a récemment été déplacé d'un domaine à un autre. Ils peuvent simplement avoir une simple redirection 301 d'un domaine à un autre, ou ils peuvent avoir dit à Google au sein de Google Outils pour les webmasters qu'ils ont déplacé le site. Scénario terminé.
La question
Ma question est assez simple et je m'excuse pour les longs paragraphes de texte, mais je veux une bonne idée de ce que nous essayons de faire ici. Assez tapé, voici la question!
Est-il possible de savoir si un domaine a été transféré d'un domaine à un autre, en utilisant 301 réorientations ou en effectuant un transfert dans les outils pour les webmasters de Google?
Connaître l'URL redirigée 301 est possible dans plusieurs cas, mais pas tout le temps.
Plusieurs outils en ligne tels qu'Ahrefs ou MajesticSEO peuvent afficher ce type d'informations pour vous. Vous avez juste besoin de regarder les backlinks classés sous le statut "Redirect".
Exemple pour Ahrefs:
Cependant, vous devez savoir qu'un bon professionnel du référencement ne veut pas que les gens trouvent la redirection 301 car, dans la plupart des cas, l'URL redirigée reçue dans le passé était de très bons backlinks provenant de bons sites de référencement (sites Web avec un PageRank élevé, par exemple).
C’est pourquoi, généralement, afin de masquer ces bons sites de référencement (et donc peut-être de bonnes occasions pour tout le monde d’obtenir de très bons backlinks), vous ne pouvez pas trouver l’URL redirigée avec les outils en ligne. En effet, le professionnel a bloqué pour l'URL redirigé tous les robots (notamment ceux d'Ahrefs, MajesticSEO ...) à l'exception de ceux de Google.
En conséquence, la redirection 301 est puissante pour le référencement et cachée pour les internautes.
P.S .: le camouflage peut également être appliqué par le professionnel pour masquer les liens retour vers l'URL redirigée pour les visiteurs. Par conséquent, ces bons endroits pour le référencement sont encore mieux cachés.
Il existe plusieurs sites qui vous donneront toutes sortes d'informations sur des sites tels que:
- Nombre de pages sur le site
- Estimation du trafic pour le site
- Autres sites hébergés à la même adresse IP (presque ce que vous voulez)
- Autres sites enregistrés chez le même propriétaire (encore une fois, presque ce que vous voulez)
Je ne pouvais pas en trouver un qui vous indique quels autres noms de domaine sont redirigés vers un site. Il ne serait probablement pas très difficile pour l’un de ces sites d’ajouter ce type de fonctionnalité.
Si je devais créer un outil pour répondre à cette question, voici ce que je ferais:
- Téléchargez la liste complète des noms de domaine comportant des entrées DNS. C'est en soi un projet. Vous devez faire une demande d'accès à chaque registre ou payer un courtier qui a déjà fait ce travail. Cette question sur stackoverflow a des réponses pour les deux approches
- Téléchargez une page de chacun des 150 millions de noms de domaine pour voir si elle redirige vers un autre site. Je pense que vous devriez être capable de faire environ 50 par seconde et que l'exploration prendrait un peu plus d'un mois. Cette tâche est partageable et peut donc être accélérée si plusieurs machines y travaillent. La bande passante et les coûts d'hébergement de ce robot pourraient finir par être considérables, la bande passante pour 50 sites par seconde serait probablement d'environ 20 Mo/s en supposant un téléchargement moyen de 50 Ko avant site.
Je soupçonne que cela est plus efficace en utilisant la balise canonique interdomaine. L'utilisation de la balise canonique maintiendrait le site non indexé actif afin que vous puissiez continuer à créer des liens qui vont au site de l'argent (Il est difficile d'envoyer une demande de lien pour une page qui a déjà été 301).
À ma connaissance, il n’existe pas de méthode automatisée/standard permettant de détecter les 301. Et je ne crois pas qu'il y ait aucun moyen de croire que vous les avez tous trouvés. Quelques options qui pourraient vous aider à en trouver sont:
Recherche DNS pour voir si vous pouvez trouver d'autres domaines du même propriétaire. Cela vous donnera un bon point de départ si vous en trouvez un. Certains sites Web sont utilisés pour essayer de trouver des réseaux de sites (spyonweb.com je crois en être un) ils utilisent un identifiant AdSense, un identifiant d'affilié, des informations DNS, etc. Dans ce cas, je ne pensais pas que le propriétaire en laisserait un. de ces empreintes de pas mais on ne sait jamais.
Le robot d'exploration Web open source devrait pouvoir être modifié pour ne suivre que les liens 301 et renvoyer les résultats pour le nom de domaine souhaité.
Rechercher des vendeurs de liens dans votre créneau. Ceci est probablement fait pour créer un tampon entre le site money et les mauvais liens possibles (il est beaucoup plus facile de fermer un seul site redirigé que de demander à quelques centaines de webmasters de supprimer les liens vers votre site si vous êtes pénalisé. ). Cela pourrait signifier qu’ils participent à des achats de liens. En utilisant quelque chose comme Xenu sur le site du vendeur, cela donnerait 301.
inanchor: recherche sur Google. S'il existe une marque d'identification qui se classe bien pour vous, des liens utilisant cette marque dans le texte d'ancrage peuvent être affichés, mais vous accédez à un autre domaine (qui, ensuite, redirige, espérons-le, vers le domaine de votre choix).
Si vous trouvez 1 ou 2 sites à l’aide de ces méthodes, vous obtiendrez probablement un modèle que vous pourrez utiliser pour en rechercher davantage.
Cependant, tout cela serait discutable, s’ils utilisent la balise canonique au lieu de 301. Je suis sûr que vous pouvez effectuer d’autres recherches créatives, mais elles devraient vous donner un bon départ.
-Bonne chance