Robots.txt interdit tout sauf un répertoire et l'accès au sitemap
robots.txt contient les instructions suivantes:
User-agent: *
Allow: /public/
Disallow: /
Sitemap: http://sitedomain.com/sitemapindex.xml
il semble que dans ce cas, sitemapindex ne soit pas accessible pour le robot de recherche et devrait être déplacé vers le dossier public, est-il correct ou le robot analysera-t-il le sitemap dans tous les cas?
sitemapindexne sera pas accessible pour le robot de recherche et devrait être déplacé vers le dossierpublic
Oui, c'est exact. Le sitemap XML ne sera pas explorable s'il n'est pas déplacé dans le dossier /public/.
Vous pouvez également ajouter une exception pour votre sitemap:
Allow: /sitemapindex.xml