Google n'indexe pas mon site bien qu'il l'explore
J'ai un site qui a environ 12 000 pages. Il y a quelques jours, j'ai téléchargé le site, j'ai supprimé l'option disallow de mon robots.txt, j'ai lancé "fetch as Google" et j'ai reçu le message suivant:
URL et pages liées soumises à l'index.
Le problème est que mon site n’a pas encore été indexé, bien que Google Bot ait commencé à l’analyser. Lorsque je recherche mon nom de domaine sur Google, je reçois:
Une description de ce résultat n'est pas disponible en raison du contenu de ce site robots.txt
J'ai supprimé l'option disallow et en fait robots.txt est comme suit pour les 2 derniers jours:
User-agent: Googlebot-Image
Disallow: /
En fait, lorsque je teste le fichier robots.txt via les outils pour les webmasters, je reçois:
Permis
Détecté comme un répertoire; des fichiers spécifiques peuvent avoir différentes restrictions
Google l'explore à un rythme lent (environ 400 pages par jour).
Comment puis-je dire à Google d’indexer mon site avant de terminer le processus d’exploration? Si cela n’est pas possible, puis-je accélérer l’exploration?
J'ai supprimé l'option interdire et en fait robots.txt est vide pour les 2 derniers jours.
Si vos fichiers robots.txt disparaissent ou deviennent vides, Google suppose parfois qu'il s'agit d'une erreur et n'honorera pas les modifications avant un certain temps. Au lieu d'un fichier robots.txt vide, vous devez en créer un qui autorise explicitement tout:
User-agent: *
Disallow:
Une fois que vous avez modifié votre fichier robots.txt, Google met généralement au moins une semaine et parfois même un mois à indexer un site Web. Vous devrez juste attendre.
S'il n'a pas exploré tout le site Web, il indexera les pages qu'il a explorées avant de mener une analyse complète du site.
Le seul moyen d'accélérer le processus d'analyse consiste à augmenter la réputation du site avec davantage de liens entrants de haute qualité. Le nombre de pages explorées par Googlebot et la vitesse à laquelle il renvoie pour les réanalyser sont principalement régis par PageRank.