Comment rendre Google indexer des millions de pages de profil utilisateur?
J'ai un site Web avec beaucoup de profils d'utilisateurs (comme LinkedIn ou similaire). J'ai besoin de Google pour indexer chaque page de profil d'utilisateur public. J'ai quelques choses en tête:
1- Il n'y a pas de liste d'utilisateurs sur ma page, et je ne veux pas non plus afficher toutes les pages de profil répertoriées sur le site. Comment Google peut-il encore indexer toutes les pages de profil?
Que devrais-je faire?
Google ne va indexer que des millions de pages d'un site très réputé. J’estimerais que votre site devrait avoir au moins le PageRank 6 avant que Google ne veuille indexer autant de pages de votre site. Cela est particulièrement vrai lorsque les pages ne sont répertoriées que dans un plan du site (comme suggère tillinberlin ).
Les pages de profil utilisateur sont souvent de mauvaise qualité. Sur la plupart de mes sites, de nombreux utilisateurs ont tendance à s'inscrire sans créer aucune activité. Dans de nombreux cas, je n'ai guère plus pour eux qu'une adresse électronique et un mot de passe. Une page pour un tel utilisateur ne serait pas utile dans les moteurs de recherche. De plus, le fait que votre site contienne beaucoup de pages de mauvaise qualité indexées peut amener l'algorithme Panda de Google à identifier votre site comme étant de mauvaise qualité et à pénaliser tout votre site.
Je commencerais par essayer d’obtenir les 10 000 pages d’utilisateurs ayant le plus de contenu indexé en premier. Si cela fonctionne bien, augmentez-le à 20 000, puis à 40 000, puis à 80 000. Arrêtez-vous lorsque vous rencontrez des difficultés pour indexer les pages ou lorsque leur contenu est insuffisant.
Je vous suggérerais d’utiliser un sitemap - si vous n’en utilisez pas déjà un:
Vous pouvez lister un grand nombre de pages individuelles.
Google (et d'autres moteurs de recherche) aime explorer les sitemaps.
Les pages répertoriées dans les sitemaps ne doivent pas nécessairement être "exposées" sur le site Web. Vous n'avez donc pas besoin d'une page répertoriant tous les profils d'utilisateurs.
La création de plans de site peut être réalisée par programme - vous écrivez votre propre script ou vous pouvez utiliser l'un des nombreux services gratuits pour écrire le fichier sitemal (bien que je pense que la plupart des services gratuits sont limités à quelques milliers de pages répertoriées).
Cette page " Gérez votre sitemap " à l'adresse support.google.com/webmasters peut être un bon point de départ. Cependant - utiliser des sitemaps ne vous garantit rien - et faire en sorte que Google indexe littéralement des millions de pages utilisateur à travers les sitemaps semble presque impossible pour différentes raisons (comme le souligne également Stephen Ostermiller).
vous serez sûrement pénalisé par Google Panda, si vous ajoutez des pages de profil dans un sitemap, et vous êtes également pénalisé par Google Penguin si vous n'avez aucun contrôle sur les liens sortants. Donc, n’oubliez pas de vous renseigner sur les attributs nofollow .
Dans mon vrai conseil, ne pas ajouter chaque URL de profil dans le plan du site, simplement interdire votre répertoire/profile de robots.txt
Il suffit de regarder facebook.com/robots.txt car il y a beaucoup de choses qui sont bloquées par spider, et par conséquent Google n'indexera pas tous les éléments. De plus, Google n'explorera pas cette page directement à partir de Facebook.
Supposons maintenant que l'utilisateur ait lié le profil Facebook sur son propre site. Google explorera ensuite cette page à partir du site de l'utilisateur, et non du site Facebook, car celle-ci est bloquée par le fichier robots.txt de Facebook. Maintenant, en réalité, Facebook bloque la page de profil pour indexer, Mais certaines personnes mentionnent le profil Facebook sur les pages Web, d'où Google indexe ces pages sur les résultats de recherche. Il suffit de regarder Facebook Page Pagerank, il est 9 et il suffit de regarder quelqu'un profil profil pagerank est 0. J'espère que vous l'avez moi.