web-dev-qa-db-fra.com

Google crawler accédant à des pages non existantes

Je recherche la console de recherche et ai trouvé des erreurs d’exploration pour les URL suivantes sur mon site:

  • example.com/mobile
  • example.com/m

Je n'ai jamais mentionné ces pages, mais pourquoi Google y accède et que dois-je faire?

Mise à jour

Je viens de vérifier cela sur robot.txt , cela pourrait-il être une raison? Cela semble nul, cependant, il semble que le bot Mobile assume mobile ou m dans un sous-domaine ou un domaine racine. Devrais-je supprimer cette entrée de bot?

User-Agent: Googlebot-Mobile
Allow: /

User-Agent: Googlebot-Image
Allow: /
googlebotcrawl-errors
2
Volatil3

Google va absolument vérifier tout ce qui concerne le site et essayer de tout indexer.

Il scannera la page d'accueil, découvrira les liens qui s'y trouvent et analysera chacun d'entre eux, etc.

Il vérifiera également chaque URL que vous avez incluse dans tous les plans de site que vous avez soumis aux outils pour les webmasters.

Ce que je suggérerais (ce qui m'a aidé) est de télécharger un programme qui analyse tout votre site comme Google, mais à une vitesse supérieure. Il existe un programme appelé Screaming Frog SEO Spider qui permet de vérifier gratuitement les 500 premières URL. Il existe un programme appelé Xenu Link Sleuth qui vérifie gratuitement le nombre illimité d’URL, mais l’avertissement qui y est appliqué est que, pour les grands sites, vous devez faire défiler les énormes Parcourez la liste manuellement pour trouver les erreurs trouvées.

Voici le lien vers Xenu Link Sleuth:

http://home.snafu.de/tilman/xenulink.html#Download

Je ne sais pas si cela fonctionne pour les systèmes les plus récents, mais je l'ai sur du vin dans ma machine Linux

En tous cas. Exécutez l’un de ces logiciels d’analyse de liens et chaque fois qu’il trouve une erreur dans une URL de votre domaine, apportez des modifications à votre site Web, analysez à nouveau et répétez cette procédure jusqu’à ce qu’il n’y ait plus aucune erreur.

Si vous avez envoyé un plan Sitemap, modifiez-le de manière à supprimer les URL non existantes et renvoyez-le à Google.

2
Mike

Le fait que Googlebot explore des pages inexistantes ne devrait pas être considéré comme un problème. Googlebot a tendance à être gourmand. Il vérifie:

  • N'importe quel lien qu'il peut trouver ou votre site
  • Toute URL dans votre sitemap
  • Tout lien qu'il peut trouver sur votre site à partir de tout autre site
  • N'importe quel lien jamais trouvé sur votre site
  • Les extraits de code JavaScript qu'il pense pourraient être des liens. Si vous avez var foo='some/text', il tentera probablement d'analyser example.com/some/text en tant que lien.
  • Lieux communs où les webmasters mettent du contenu pour mobile tel que /m et /mobile

Étant donné que Googlebot est programmé pour vérifier de nombreux types d'URL, Google sait qu'il trouvera les pages "404 non trouvées". Afficher ces pages d'erreur à Googlbot ne fera aucun mal à votre site. C'est le comportement attendu du site.

1
Stephen Ostermiller

À la mi-2016, nous n'avions pas le problème de Google bot crawling/mobile/ou/m/pages qui n'existait pas; cependant, fin 2016, Google bot a commencé à essayer d'explorer/mobile/et/m /, et comme ils n'existent pas sur notre site, Search Console signale un 404 sous l'onglet SmartPhone.

Voici une assurance qualité que j'ai trouvée utile , et qui renvoie à d'autres discussions.

D'après les discussions que j'ai lues, l'acte de google bot qui tente d'explorer les répertoires mobile/et m/suggère que celui-ci ne pense peut-être pas que le site est totalement adapté aux mobiles.

Notre site est adapté aux mobiles (au moins le Mobile-Friendly Test le signale); Cependant, sur 9 000 URL, une page n'est pas compatible avec Mobile sur le rapport convivial de Search Console Mobile . En novembre 2016, nous avons introduit le problème mobile avec cette page et Google a commencé à essayer d'accéder à mobile/et m/en décembre, suggérant que le problème mobile associé à cette page avait un lien avec la raison pour laquelle ils essayaient d'accéder à ces sites. pages existantes.

Nous allons bientôt résoudre ce problème et nous pensons que Google cessera alors d’essayer d’accéder aux pages mobile/et m/pages.

Pour répondre à votre question "Pourquoi y a-t-il accès et que dois-je faire?", Google tente peut-être d'accéder à ces pages non existantes, car votre site n'est pas totalement compatible avec les appareils mobiles. Pour résoudre le problème, vous pouvez adapter votre site aux mobiles. ou, s'il est compatible avec les appareils mobiles, assurez-vous qu'aucun problème lié aux appareils mobiles n'a été signalé dans Search Console. Une fois le problème résolu, nous vérifierons si Google essaie toujours d'accéder à mobile/et m/ou non et publierons un commentaire avec les résultats.

0
Justin Nafe