Gestion du référencement pour les pages infinies qui provoquent des appels d'API lents externes
J'ai un nombre "infini" de pages sur mon site qui reposent sur une API externe. Générer chaque page prend du temps (1 minute). Les liens du site pointent vers de telles pages. Lorsqu'un utilisateur clique dessus, elles sont générées et il attend. Considérant que je ne peux pas tous les pré-créer, j'essaie de déterminer la meilleure approche de référencement pour gérer ces pages.
Options:
- Créez des pages très simples pour les araignées Web et seuls les vrais utilisateurs vont récupérer les données et générer la page. Un peu "peur" google verra cela comme un contenu de faible qualité, ce qui pourrait également donner l'impression d'être dupliqué.
- Mettez-les dans un répertoire de mon site (par exemple,/non-généré /) et mettez-les dans le fichier robots.txt. Le problème ici est que je ne veux pas que les utilisateurs aient à traiter une URL différente lorsqu'ils veulent partager cette page ou lui donner un sens. Nous avons peut-être pensé à rediriger les utilisateurs réels à partir de cette URL vers la hiérarchie habituelle afin de "tromper" Google afin de ne pas les contacter. Encore une fois pas sûr qu'il m'aimera pour ça.
- Le laisser explorer ces pages. Le problème principal est que je ne peux pas contrôler le taux d'appels de l'API et que mon site semble plus lent qu'il ne le devrait du point de vue d'un araignée (s'il se contentait d'explorer les pages générées, il penserait que c'est beaucoup plus rapide).
Quelle approche suggéreriez-vous?
Si j'étais vous, je m'assurerais que le lien est "nofollow" jusqu'à ce que la page ait été générée une fois. Une fois qu'il est généré, stockez-le dans un cache ou créez-en une page statique. Ensuite, faites le lien "suivez" pour que le contenu puisse être indexé.
Si vous le souhaitez, vous pouvez éventuellement générer toutes ces pages dans un travail Cron durant la nuit afin qu'elles ne se chargent pas longtemps.