Comment se comporte Google Crawler lorsque la page HTML mesure 1,6 Mo?
Est-il possible que Google Crawler ne récupère pas tout le contenu de la page lorsque sa taille est de 1,6 Mo? Comment Google traite-t-il les gros documents?
Il n'y a en général aucune limite de taille de page établie par Google. Seules les pages de Google Actualités ne doivent pas dépasser 256 Ko.
Cependant, la taille de la page crée certaines limitations par conception, ce qui pourrait empêcher une exploration correcte. Ces limitations, là où le robot d'exploration vient de se lever, sont les suivantes:
- imbrication exorbitante de l'arbre DOM
- trop de liens dans la zone au-dessus du pli
- temps de chargement trop lent (c.-à-d. en raison du trop grand nombre d’actifs inclus dans la tête)
- les actifs, ce qui signifie qu'ils étaient importants pour Google, ne sont pas explorables (bloqués par des robots, indisponibles par le serveur)
- trop d'erreurs 404 provenant des ressources de la page (images, etc.)
- contenu, chargé dynamiquement ET dont la visibilité est déclenchée par l'action de l'utilisateur
La taille de la page n'a pas d'importance. Ce qui compte, est de savoir si le robot a un obstacle sur son chemin.