Un site Web peut-il obliger les robots des moteurs de recherche à accepter les cookies?
Parfois, je prétends être un robot de moteur de recherche pour accéder aux pages Web réservées aux abonnés, ou simplement pour obtenir une vue simple et nette d’une page qui ne soit pas encombrée d’animations en mouvement et d’autres conneries non pertinentes.
Dernièrement, j'ai remarqué que certains sites Web exigent que les cookies soient activés, même si vous êtes un bot. Quel est le but de ceci? Pourquoi un robot de moteur de recherche doit-il accepter les cookies? Ou est-ce simplement parce que le type qui a conçu le site Web a foiré?
Il y a deux autres possibilités qui me viennent à l'esprit:
- Les sites Web peuvent indiquer que vous prétendez être Googlebot. Google a publié une procédure de vérification de Googlebot que ces sites Web pourraient utiliser. Ils peuvent avoir besoin de cookies uniquement parce que vous n'êtes pas vraiment Googlebot.
- Les sites ne s'inquiètent pas de voir leurs pages incluses dans les index de recherche. Lorsque vous ne vous souciez pas d'être indexé, cela n'a pas vraiment d'importance si vous traitez mal les robots de recherche.
Le suivi vient à l'esprit. Les cookies permettent au site d'identifier un bot lors de l'exploration du site et de le séparer du trafic humain lors de l'analyse des habitudes de navigation.