Comment connaître le référent de l'URL d'exploration de Googlebot?
Googlebot explore des centaines de 404 URL de mon site Web. Je veux savoir d'où proviennent ces liens?
Y a-t-il quelque chose comme HTTP Referrer?
En détail: Googlebot crawls
example.com/no_such_files.phpexample.com/not-there/no_such_files.php
Je veux savoir d'où Googlebot a obtenu ces liens? Je vois récemment beaucoup d'URL comme celle ci-dessus.
Googlebot n'envoie pas d'en-tête de requête HTTP Referer lorsqu'il explore votre site.
Toutefois, le rapport 404 dans Google Search Console devrait vous indiquer d'où proviennent ces URL lié à partir de:
- Explorer> Erreurs d'analyse> Bureau | Téléphone intelligent
- Sélectionnez le sous-onglet "Introuvable".
- Les URL qui génèrent des 404 doivent être listées au bas de la page.
- Cliquez sur l'une de ces URL pour afficher une liste plus détaillée de l'erreur.
- L'onglet "Lié depuis" doit contenir toutes les URL ayant un lien vers l'URL 404.
(Ne "marquez pas comme étant fixé", car ce sont de véritables 404 qui ne peuvent pas être "fixés".)