Existe-t-il une différence entre un fichier robots.txt vide et aucun fichier robots.txt?
Sur un serveur Web, je dois maintenant administrer. J'ai remarqué que le fichier robots.txt est vide. Je me demandais s'il y avait une différence entre un fichier robots.txt vide et aucun fichier.
Les chenilles se comportent-elles différemment dans ces deux cas? Alors, est-il prudent de supprimer simplement un fichier robots.txt?
Les chenilles se comportent-elles différemment dans ces deux cas?
Un fichier robots.txt qui est vide n’est pas vraiment différent de celui qui n’a pas été trouvé, les deux n’interdisant pas l’exploration.
Vous pouvez toutefois recevoir de nombreuses erreurs 404 dans les journaux de votre serveur lorsque des robots demandent le fichier robots.txt , comme indiqué dans cette question - ici .
Alors, est-il prudent de supprimer simplement un fichier robots.txt?
Oui, avec l'avertissement ci-dessus.
Non, il n'y a pas de différence.
Le journal de votre serveur contiendrait 404 erreurs. Si vous êtes abonné à des outils tels que les outils Google Web Master, cela peut vous indiquer que vous n'en avez pas, mais en ce qui concerne le comportement du robot d'exploration: ce sont les mêmes pour n'importe quel robot qui compte pour vous.