Résolution "Googlebot a rencontré un très grand nombre de liens sur votre site."
Je reçois l'avertissement suivant maintes et maintes fois dans les outils pour les webmasters de Google
Googlebot encountered extremely large numbers of links on your site.
Les exemples qu'il montre ne me donnent pas beaucoup d'indices sur ce qui ne va vraiment pas ici. Comment me suggéreriez-vous de résoudre ce problème?
MISE À JOUR: Mon site a un grand nombre de pages (40M) avec ~ 10M indexées. Devrais-je envisager d'ajouter noindex à certaines pages pour le rendre "plus petit" pour les moteurs de recherche?
Ce message signifie essentiellement que nous (Google) avons découvert un nombre étonnamment élevé d'URL uniques lors de l'exploration d'URL connues auparavant. Ce message est envoyé avant que nous essayions d'analyser ces nouvelles URL uniques (car cela peut prendre un certain temps), il peut être utile de vous informer des problèmes liés à l'exploration de la structure de votre site Web. Comme il est envoyé avant l'exploration de ces nouvelles URL, le fichier robots.txt, les balises noindex robots ou un rel = canonical ne sont pas connus à ce stade.
S'il est vrai que les grands sites ont tendance à voir ce message plus souvent, il n'en reste pas moins que en particulier les gros sites gagneraient davantage à disposer dès le départ d'une structure d'URL propre et pouvant être analysée. Lors de l'exploration, nous pouvons effectuer un nombre limité d'extraits sur un serveur avant que celui-ci ne ralentisse. Si vous nous envoyez 5 à 100 fois plus d'URL que de contenu, vous risquez de ne pas être en mesure de choisir de nouveaux contenus aussi rapidement que possible si nous pouvions explorer plus efficacement.
Ma recommandation serait de vérifier si vous pouviez capturer ces URL plus tôt (par exemple, éviter de les lier du tout, ou peut-être utiliser rel = nofollow dans les profondeurs des sections de recherche à facettes multiples), voir si le paramètre d'URL outil de manipulation peut être utilisé pour votre site. Sinon, si vous êtes certain que les résultats de la recherche pour votre site sont "suffisamment récents" et que l'analyse n'est pas une charge perceptible par l'utilisateur sur votre serveur, il peut être intéressant de le garder sur votre liste, afin que vous puissiez le vérifier. quand vos développeurs font de plus gros changements quand même.
Il n'y a généralement pas de solution à ce "problème". Si votre site contient un grand nombre de pages, vous recevrez ce message. Lorsque votre site contient un grand nombre de pages, "un très grand nombre de liens sur votre site" est attendu.
Je reçois ce message sur un de mes sites qui compte 10 000 pages. Un autre site sur lequel j'ai travaillé et qui contenait des millions de pages contenait également ce message.
Si votre site ne compte que quelques pages, cela peut être dû à l'exploration par Googlebot des résultats de recherche ou des identifiants de session. Dans ce cas, Googlebot trouvera un grand nombre d'URL et de liens, mais vous ne souhaitez que quelques pages indexées. Dans ce cas, vous devez bloquer Googlebot à l'aide du fichier robots.txt dans les pages de recherche ou configurer votre site de manière à ne pas utiliser d'identifiants de session dans l'URL de Googlebot.
Il y a un discussion à ce sujet sur WebmasterWorld .