Comment interpréter les règles de Google relatives à l'exploration et à l'indexation des pages de résultats de recherche?
Je viens d'apprendre que nous pouvons être pénalisés pour avoir laissé Google explorer et indexer les résultats de recherche de notre base de données.
https://webmasters.stackexchange.com/a/55599/33777
Question: S'ils ne veulent pas lister les résultats de type Pages jaunes, pourquoi le font-ils? Ces sites existent depuis toujours et les domaines n'ont pas changé. Je viens de rechercher des mots clés spécifiques sur le site Web d'un ami. Il occupe le 7e rang. Les six premières sont toutes des pages de résultats de recherche pour des sites de type Yellow Page bien connus.
Je suis un développeur back-end alors tout cela est nouveau pour moi. J'ai passé en revue le Webmaster Guidelines et j'ai vu ceci (souligné par moi):
Utilisez le fichier robots.txt pour empêcher l’exploration des pages de résultats de recherche ou d’autres pages générées automatiquement qui n’ajoutent pas beaucoup de valeur aux utilisateurs provenant de moteurs de recherche .
C'est très subjectif.
- Mon client a une page répertoriant les noms de toutes les sociétés de notre base de données.
- Chaque nom de société est un lien vers la page de résultats de recherche pour cette phrase exacte.
- Cette page de résultats renvoie à son tour aux profils de leurs entreprises dans les différentes publications.
- La même entreprise peut avoir un profil dans plusieurs publications.
- Les profils peuvent être similaires, mais listeraient différentes catégories de produits en fonction de la publication.
Cela a été configuré à l'origine parce que le client essayait de concurrencer Yellow Pages et autres. Et nous nous classons plutôt bien lorsque les gens recherchent des entreprises particulières. Mais je ne veux pas être pénalisé.
Nous avons établi un lien vers les résultats de la recherche plutôt que directement vers le profil, car une entreprise pouvait avoir plusieurs profils.
Cependant, le client souhaite maintenant séparer davantage les différentes publications. Je peux donc enregistrer un clic pour les utilisateurs si la liste de sociétés renvoie directement au profil et ignore la page de résultats de recherche.
Question: La liste des noms et du profil de société correspondant au contenu de chaque société est-elle acceptable pour Google? Pensez-vous que nous serons pénalisés pour les avoir laissés explorer et indexer cela?
Nous étions sur le point d'ajouter une liste similaire de toutes les catégories de la base de données, chaque catégorie étant liée à une liste des sociétés de cette catégorie. Je pense que cela a une valeur pour les utilisateurs provenant de moteurs de recherche . Mais c'est subjectif.
Question: Comme il est généré dynamiquement, Google peut demander au hasard des mots tels que Viagra et nous présentons un message "Aucune correspondance trouvée". page. Cette page aurait une balise méta noindex . Mais est-ce suffisant pour nous faire pénaliser?
Remarque: Le formulaire de recherche actuel utilise POST, ce que Google évite, à mon avis. Nous ne générerions des liens que pour les noms de catégories exacts existant dans la base de données. Nous ne les inviterions donc pas à explorer une page de résultats de recherche, mais plutôt une page d'arrivée de répertoire. Cependant, rien n’empêche Google de rechercher du contenu en manipulant les URL.
Évent: Je connais quelques notions de base en référencement. J'ai toujours eu l'idée de penser d'abord à nos utilisateurs - de leur fournir le contenu qu'ils recherchent. pour - et laissez Googlebot comprendre les choses par lui-même. Cela me semble contre-intuitif de devoir dire à Google de cesser d'explorer mon site. La même chose vaut pour nofollow sur les liens de partenariat (que je viens également d'apprendre). OMI, Google devrait juste comprendre ce qui est pertinent/précieux et l'afficher. Ils ne devraient pas pénaliser les sites dont le contenu ne les intéresse pas.
De plus: S'ils ne veulent pas explorer des pages inutiles, pourquoi demandent-ils toujours des pages qui envoient 301, 404 ou 410 depuis plus de une année? Et non, il n'y a pas de liens entrants vers ces pages.
Premièrement, je pense que l'affirmation de Stephen selon laquelle une page de résultats de recherche entraînera une pénalité de site est erronée. Le article de blog en question indique simplement que Google peut "prendre des mesures pour réduire les résultats de recherche", ce qui implique que les pages de résultats de votre recherche auront un rang inférieur dans les résultats de Google (ou seront ignorées) et que le reste du site sera non affecté.
Cependant, la clé de cette question est la définition d'une "page de résultats de recherche". Le type de page que Google adresse ici est une page où vous pouvez littéralement taper n'importe quoi dans une boîte et la rechercher. Le problème principal est que la liste possible de pages que vous obtenez est infinie. En outre, de nombreuses requêtes similaires renverront exactement les mêmes résultats.
Maintenant, votre situation est légèrement différente. Je suppose que toute recherche effectuée sur votre site, bien que utilisant POST, soit soit une redirection vers une URL GET, soit soit accessible par GET (sinon, comment créer un lien vers vos résultats de recherche).
Vous avez raison de dire que Google ne soumettra pas de formulaire POST. Ils ne vont pas non plus générer des URL de manière aléatoire en remplaçant q=Company par q=Viagra dans l'URL. En réalité, le seul moyen pour Google de savoir qu’il s’agit d’une URL de recherche est le modèle de l’URL elle-même (par exemple, il ressemble à /search.php?q=Company).
Dans votre cas, les URL auxquelles vous vous connectez sont un nombre fini basé sur les sociétés/catégories que vous avez dans votre base de données. Je pense donc que vous devriez séparer votre recherche générique de vos termes de recherche prédéfinis (catégories). En d’autres termes, créez des URL statiques distinctes, telles que /category/company-name, qui affichent la recherche, quel que soit le résultat de la recherche. Vous pouvez toujours utiliser le même moteur de recherche à cette fin, mais, pour les moteurs de recherche et les utilisateurs, cela ressemble à des pages statiques.
Je pense que c'est ce que font les sites de type Pages Jaunes. Les liens qu’elles renvoient ne sont pas uniquement des pages de résultats de recherche, mais des pages de catégories ou de mots clés.
En ce qui concerne votre dernière question sur la demande d'anciennes pages: c'est précisément ce que fait Google. Si une URL existait à un moment donné, il y a une chance que cela se reproduise. Normalement, une page est liée à un autre endroit d’Internet, ils supposent donc que l’autre site a toujours le lien pour une raison et continue à le vérifier.