Comment autoriser Google à indexer du contenu protégé?
Je travaille sur mon site et, comme il est nécessaire que les utilisateurs se connectent, il sera difficile pour Google d'indexer les sites, car pour voir 90% du contenu, vous devez être en ligne.
J'ai donc créé un script qui cherche l'adresse IP qui entre sur le site si elle se situe entre 66.249.66.1 à 66.249.71.206. Donc, si l'adresse IP se situe entre cette plage, je mets "le bot Google" comme étant en ligne et il sera en mesure de voir toutes les pages qu'un utilisateur normal verrait.
Est-ce une bonne idée? Y at-il plus de plages d'IP? Puis-je faire confiance à ces plages d'IP?
Ce n'est pas une bonne idée et non, vous ne pouvez pas faire confiance à ces plages d'adresses IP. Les adresses IP utilisées par Google ne sont pas publiques. Cependant, certains/la plupart des robots des moteurs de recherche peuvent être identifiés en effectuant une recherche DNS inversée sur l'adresse IP.
Un exemple avec googlebot: 66.249.64.0 a un enregistrement PTR à analyser-66-249-64-0.googlebot.com, et toute adresse IP avec un enregistrement PTR dans un sous-domaine sur googlebot.com est une adresse IP utilisée par googlebot.
Ce que vous faites est de montrer un ensemble de contenu à Google et un autre à l'utilisateur réel. Ceci est très mal vu et s'appelle le cloaking.
Vous devriez regarder vidéo de cloaking définitive de Matt Cutts .
La meilleure option est de prendre un sous-ensemble de ce contenu que vous êtes prêt à rendre public et de créer une partie du site qui expose ce contenu aux moteurs de recherche et aux utilisateurs. Si les utilisateurs veulent en voir plus, ils devront se connecter. .
Ce que vous faites n’est pas une bonne idée et peut être sanctionné comme un voile.
Jusqu'au 1er octobre 2017, la meilleure pratique était le premier clic gratuit, comme mentionné dans une réponse précédente. Cependant, depuis octobre 2017, cela a changé.
Maintenant, Google utilise Échantillonnage flexible pour le contenu payant ou autrement non disponible librement.
Fondamentalement, Google laisse les éditeurs décider du volume de contenu qu'ils proposeront sans restrictions, mais ils doivent marquer leur contenu en conséquence. Google sait donc quel contenu est protégé et ne pénalise pas le site pour dissimulation. Un éditeur peut décider d’offrir un nombre limité de pages ou seulement des portions de pages gratuitement et de restreindre le reste.
Google indexe toutes les pages restreintes si les robots peuvent les voir. Cependant, le fait qu’ils soient protégés peut affecter leur classement d’une manière que seul Google connaît.
Si vous souhaitez donner à Google un accès au contenu restreint, vous pouvez utiliser Premier clic gratuit de Google.
First Click Free est conçu pour protéger votre contenu tout en vous permettant de l'inclure dans l'index de recherche de Google. Pour mettre en œuvre First Click Free, vous devez autoriser tous les utilisateurs qui ont trouvé votre page par le biais de la recherche Google à voir le texte intégral du document que l'utilisateur a trouvé dans les résultats de recherche de Google et que le robot d'exploration de Google a trouvé sur le Web sans qu'il soit obligé de s'inscrire ou de s'abonner. voir ce contenu. Le premier clic de l'utilisateur sur votre contenu est gratuit et ne nécessite pas de connexion. Vous pouvez toutefois bloquer l'utilisateur par une connexion, une demande de paiement ou une demande d'inscription lorsqu'il tente de cliquer en dehors de cette page vers une autre section de votre site de contenu.