web-dev-qa-db-fra.com

Comment puis-je configurer mon fichier robots.txt pour permettre aux robots de ne pas analyser certains dossiers dans le répertoire racine?

J'ai un petit site Web d'environ 20 pages avec des extensions .html, contenant des articles uniques que j'ai écrits et qui contiennent environ 1000 mots ou plus. Ces 20 pages sont la principale caractéristique de mon site.

Répertoire racine

Mon répertoire racine est structuré de telle sorte que les 20 pages de mes fichiers HTML se trouvent dans le répertoire racine et ne figurent dans aucun dossier. J'ai également installé un forum sur mon site Web et un plug-in de sondage PHP/jQuery qui est conservé dans le répertoire racine de leurs deux dossiers respectifs. C'est là que le problème se pose.

Mon problème - Question 1

J'ai mentionné précédemment que je n'ai que 20 fichiers HTML, ce qui compose mon site. Cependant, lorsque je numérise mon site pour générer une carte du site, plus de 70 pages s'affichent, mais seules 20 de ces 70 pages et plus sont mes propres pages originales que je souhaite explorer et indexer. Les 50 autres fichiers contenus dans les dossiers de sondage PHP et les dossiers de forum PHP sont tous des fichiers de code source et ne sont pas uniques et ne contiennent aucun contenu réel.

Devrais-je ou puis-je empêcher Google d'analyser ces deux dossiers contenant les fichiers du sondage et du forum? Si oui, comment procéderais-je dans mon fichier robots.txt?

Question 2

Si j'ai ces répertoires de sondages et de forums dans mon répertoire racine et qu'une analyse de mon site contient plus de 70 fichiers, mais que 20 pages seulement sont les miennes, cela aurait-il un effet sur mon référencement?

J'ai acheté le service de visibilité GoDaddy SEO avec mon hébergement, un service de produit de merde mais basique. Lorsque j'ai commencé mon site et que je n'avais que ces 20 fichiers HTML, j'ai obtenu un score de référencement de 85+ après avoir installé mon forum, mes sondages et ma nouvelle évaluation du score de référencement des sites. Les pages sont passées à 70+ et mon score de référencement est passé de 85+ à le milieu des années 50. Je me rends compte que ces outils ne sont pas toujours précis, mais cela a piqué ma curiosité et m'a amené à poser cette question.

J'aimerais également ajouter que mon forum est plutôt vide à ce stade, mais j'apprécie vraiment le plugin poll.

Conclusion

Donc qu'est ce que je devrais faire:

  • Empêchez le fichier robots.txt d'analyser ces dossiers, le cas échéant. Comment?

  • Devrais-je simplement supprimer le dossier du forum et du sondage?

  • Ne devrais-je pas m'en inquiéter et accepter des produits qui vous donnent un score de référencement, c'est de la merde?

htmlhtaccesssearchseorobots.txt
2
Marilee

Pour empêcher les robots d'indexer des dossiers ou des fichiers, créez un fichier robots (appelé Robots.txt) avec le contenu suivant et chargez-le dans votre répertoire racine.

User-agent: *
Disallow: /myFolder1/
Disallow: /myFolder2/
Disallow: /myFolder3/

Ou, vous pouvez aussi le faire par fichiers.

User-agent: *
Disallow: /MyFolder/other.html
Disallow: /that.html
Disallow: /MyFOlder/OtherFolder/this.html

Veuillez noter que le fichier robots ne fonctionne que si le robot écoute ce fichier!

En ce qui concerne les performances de référencement, il est très difficile de répondre. Les outils de référencement doivent être utilisés avec une pincée de sel - personne ne sait comment se rendre à la position 1, je ne suis donc pas sûr de ce que les outils promettent qu'ils peuvent faire. Cependant, utilisez-les à côté d'outils d'analyse et voyez comment cela est affecté.

Étant donné que votre site est nouveau, personnellement, je ne bloquerais rien et je verrais comment il se comportera au cours des prochains mois. Si dans les 6 mois, envisagez de modifier le contenu.

Je n'ai jamais eu à bloquer certaines pages (autres que les pages de message d'erreur ou les pages de connexion, etc.) et je ne pense pas que ce soit la solution. Personnellement, je le laisserais exposé aux moteurs et les laisserais décider ...

2
Dave