Les moteurs de recherche explorent-ils encore une page noindex?
Les moteurs de recherche explorent-ils une page comportant un attribut méta "noindex"?
La raison pour laquelle je pose cette question est parce que nous avons un contenu presque dupliqué causé par la navigation par facettes et que les pages filtrées ont indiqué "noindex" et que je me demandais si ces pages seraient toujours détectées comme des doublons.
Dois-je ajouter un attribut "nofollow" au lien pendant que nous rendons ces pages uniques?
Comme Goyllo l'a déjà indiqué, les robots des moteurs de recherche exploreront les pages comportant une balise méta noindex. Si vous y réfléchissez, ils doivent explorer la page afin de voir la balise méta noindex en premier lieu. (Vous pouvez utiliser un en-tête de réponse X-Robots-Tag HTTP à la place et, en théorie, un bot n'aurait qu'à faire une requête HEAD afin de voir l'attribut noindex - mais ce n'est pas le cas. comment Google roule.)
Si une page est noindex, elle peut toujours être follow (ce qui serait le cas par défaut, à moins d'indiquer explicitement nofollow également), de sorte que la page doit évidemment être explorée. afin de découvrir les liens à suivre.
Dois-je ajouter un attribut "nofollow" au lien pendant que nous rendons ces pages uniques?
Cela réduit simplement ce lien particulier de l'algorithme de classement. Ainsi, ce lien particulier ne sera pas utilisé comme facteur de classement pour l'URL cible. Je suppose qu'il est très probable qu'il existe également des liens entrants vers cette page?
... les pages ont indiqué 'noindex' et je me demandais si ces pages seraient toujours détectées comme des doublons?
Dupliquer de quoi? Une page ne peut être considérée comme un doublon (aux yeux de l'index du moteur de recherche) que si elle est indexée. S'il n'est pas indexé, il ne peut s'agir d'un doublon.
Le "problème" de contenu dupliqué est que si vous avez deux (ou plus) pages dupliquées qui ont été explorées et indexé, le moteur de recherche doit décider quelle page renvoyer dans les SERP. Sauf si vous résolvez vous-même ce contenu en double (redirection, balise canonique ou simplement rendant le contenu unique), il est alors hors de votre contrôle - le moteur de recherche prend la décision pour vous. Vous êtes également potentiellement en train de diluer votre classement de recherche lorsque les utilisateurs découvrent différentes pages et renvoient vers l'une ou l'autre.
Pour éviter qu'une page ne soit explorée (c'est-à-dire, même pas demandée), vous pouvez inclure une entrée dans votre fichier robots.txt. Cependant, cela signifie que les moteurs de recherche ne pourront pas voir votre balise méta noindex. Cela devrait empêcher la page d'apparaître dans les résultats de recherche normal, mais cela n'empêchera pas nécessairement la page d'apparaître sous forme de lien uniquement dans les SERPs (c'est-à-dire "indexée") si elle est liée à . Cependant, il ne peut toujours pas être considéré comme "dupliqué" car son contenu n'aura pas été lu et indexé.
Oui, Google continue à explorer les pages Web ne comportant pas de balise noindex.
Mais si vous avez le même contenu sur deux pages Web différentes et qu'une URL ne contient pas de balise index, alors que la seconde n'en contient pas, ne vous inquiétez pas, car sur tous les doublons, une seule page Web est indexée par Google. Le reste des pages Web est explorable, mais pas indexé dans les résultats de recherche Google, donc c'est bien.