Diriger les robots d'exploration vers le contenu en langue par sous-domaine de langue
J'ai un site avec un site multilingue avec beaucoup de pages (40M). Le site a UGC, et chaque traduction est en fait pour les titres. Chaque sous-domaine pointe sur le même contenu avec des titres différents par langue. Autant que je sache, chaque sous-domaine devrait être indexé par les moteurs de recherche, ce qui signifie qu'ils devront en réalité analyser 40 millions de x langues prises en charge. J'ai donc pensé qu'il serait peut-être préférable de diriger chaque robot d'exploration de sous-domaine vers des pages qui sont entièrement dans cette langue (titres + UGC).
Y a-t-il un moyen de faire cela? Les moteurs de recherche devraient-ils comprendre cela seuls?
Google dit que vous devriez éviter de mélanger deux langues dans une page. Vous ne devez donc pas laisser Google indexer vos pages contenant des titres traduits, mais un corps de langue d'origine.
Une façon de le faire serait de mettre toutes les pages avec les titres traduits dans un seul sous-répertoire comme:
en.example.com/translated/this-was-spanish.htmlen.example.com/translated/this-was-german.htmles.example.com/translated/this-was-english.htmlde.example.com/translated/this-was-english.html
puis mettez Disallow: /translated/ dans robots.txt. Cela empêcherait Googlebot d’explorer et d’indexer le contenu qui n’a pas été entièrement traduit.
Si vous ne pouvez pas déplacer tout le contenu partiellement traduit dans un seul répertoire, vous pouvez utiliser la balise meta robots noindex sur toute page comportant un titre traduit, mais un corps non traduit. Google continuerait à explorer ces pages, mais il ne les inclurait pas dans l'index.
Je ne recommande pas de conserver le même contenu dans tous les sous-domaines, car cela va à l'encontre des recommandations du moteur de recherche et peut entraîner des performances médiocres.
Si vous exploitez un pays différent, vous pouvez avoir le même contenu, mais vous devrez tout de même modifier le prix de l'offre/l'emplacement des services, etc. Rediriger les robots d'exploration n'est pas une bonne pratique car il n'y a pas de robots d'exploration spécifiques à un pays. Le moteur de recherche peut classer la page en fonction de la pertinence et de plus de 200 autres facteurs.