Si un robot d'indexation obtient une erreur 404, n'indexera-t-il pas cette URL?
Disons que j'ai une page page.example.com/page. Sur mon serveur (python), vous n'êtes servi en html que si vous êtes connecté, ce que vous pouvez faire sur page.example.com/login. Si vous n'êtes pas connecté, le serveur répond avec une erreur 404.
Est-ce à dire que les robots d'indexation ne pourront pas indexer cette page? Ou, plus précisément, ils ne l'indexeraient pas, car il "n'existe pas".
Lorsque Googlebot voit le code d'état HTTP 404, il n'indexe pas du tout cette page. Il supprimera même les pages indexées si elles continuent de voir l'état 404 pendant une longue période. J'espère donc que vous comprenez comment Google voit sérieusement le code d'état 404.
Vous devez ajouter des fonctionnalités comme quora, elles permettent d'afficher n nombre de pages avant de forcer l'utilisateur à se connecter. Google l'a appelé premier clic gratuit , mais maintenant il s'appelle échantillonnage flexible