Avez-vous vraiment besoin de robots.txt et de sitemap.xml si je veux que bot suive chaque lien?
Je me demande si j'ai vraiment besoin des fichiers robots.txt/* sitemap.xml * si je veux que les bots passent par tous les liens de mon site Web sans restrictions. Et si je le fais, que devrais-je écrire ici?
Non, ni est requis.
Par défaut, votre site sera indexé par Google. Le fichier robots.txt est utile pour l'empêcher d'accéder à des répertoires ou des fichiers spécifiques. Ce n'est pas un mécanisme de sécurité, cependant, et si vous ne voulez pas que le public accède à ces pages/fichiers, vous devez bloquer l'accès d'une autre manière, telle qu'un fichier .htaccess.
Le sitemap.xml n'est également pas obligatoire, mais il aide Google à trouver tout votre contenu. Si toutes vos pages sont liées entre elles, cela n'aura aucune importance. Les sitemaps contiennent également un classement des pages que vous pouvez suggérer à Google, ce qui permet au moteur de recherche de savoir ce que vous pensez être le contenu le plus important de votre site.
Bien sûr que non. Ces deux fichiers ne sont pas requis tout le temps.
Dans Google Webmaster Tools, Google indique qu'un robots.txt n'est pas nécessaire si vous souhaitez que toutes les pages Web soient explorées. Si vous voulez mettre uniquement les lignes suivantes dans un robots.txt:
User-agent: *
Allow: /
Il suffit de ne pas créer un robots.txt.
De plus, un sitemap.xml facilite l'indexation de votre site Web, mais il n'est pas obligé de l'utiliser. Googlebot est assez intelligent pour suivre les liens sur le Web et lorsqu'il trouve un lien vers l'une de vos pages Web, il le suit et explore votre page Web pour l'indexer. Par exemple, si vous avez plusieurs backlinks, Googlebot explorera souvent vos pages Web et vous n'avez pas besoin de créer un sitemap.xml.
Je pense que pour que votre page reçoive un index des moteurs de recherche tels que Google, Bing, etc., vous devez avoir à la fois le fichier robots.txt et sitemap.xml fichiers.
Un rapide Google indique que votre fichier robots.txt doit être placé dans le répertoire racine de votre site Web. Ce lien devrait vous donner plus de détails sur la façon de créer ce fichier et comment l'utiliser.
Et pour sitemap.xml , de nombreux sites Web vous permettront de le générer gratuitement. Cette aide du webmaster Google devrait vous donner plus de détails sur la façon dont Google le comprend. Et comment créer le.
J'utilise WordPress donc je sais qu'il existe déjà des plugins disponibles qui le font pour vous. Pas sûr des autres plateformes de blogs, mais elles devraient aussi l'avoir.
La seule chose dont vous avez besoin pour que Google puisse suivre chaque lien est de lui indiquer que votre site existe. Cela peut se produire "naturellement" si votre site est lié à des sites qui existent déjà dans Google Index. Vous pouvez également utiliser leur formulaire de soumission de site pour ajouter explicitement votre site à la liste des sites à indexer ici .
robots.txt et sitemap.xml ne sont pas nécessaires, mais sitemap.xml aidera à guider les robots sur votre site.