web-dev-qa-db-fra.com

Une URL de sitemap relative peut-elle être utilisée dans un fichier robots.txt?

Dans le fichier robots.txt, puis-je écrire l'URL relative suivante pour le fichier sitemap?

sitemap: /sitemap.ashx

Ou dois-je utiliser l'URL complète (absolue) du fichier sitemap, telle que:

sitemap: http://subdomain.domain.com/sitemap.ashx

Pourquoi je me demande:

  • Je possède un nouveau service de blog, www.domain.com, qui permet aux utilisateurs de bloguer sur accountname.domain.com.
  • J'utilise des caractères génériques, de sorte que tous les sous-domaines (comptes) pointent vers: "blog.domain.com".

Dans blog.domain.com, j'ai mis le fichier robots.txt pour permettre aux moteurs de recherche de trouver le plan du site. Mais, en raison des caractères génériques, tous les comptes d'utilisateurs partagent le même fichier robots.txt. C'est pourquoi je ne peux pas utiliser la deuxième alternative. Et pour l'instant, je ne peux pas utiliser la réécriture d'URL pour les fichiers txt. (Je suppose que les versions ultérieures de IIS peuvent gérer cela?)

seositemaprobots.txt
179
Easyrider

Selon le document officiel documentation sur sitemaps.org , il doit s'agir d'une URL complète:

Vous pouvez spécifier l'emplacement du plan Sitemap à l'aide d'un fichier robots.txt. Pour ce faire, ajoutez simplement la ligne suivante incluant l'URL complète au sitemap:

Sitemap: http://www.example.com/sitemap.xml
305
unor

Les robots d'exploration de Google ne sont pas assez intelligents, ils ne peuvent pas analyser les URL relatives. C'est pourquoi il est toujours recommandé d'utiliser des URL absolues pour améliorer les capacités d'analyse et d'indexation.

Par conséquent, vous ne pouvez pas utiliser cette variante

> sitemap: /sitemap.xml

La syntaxe recommandée est

Sitemap: https://www.yourdomain.com/sitemap.xml

Remarque:

  • N'oubliez pas de mettre la première lettre en majuscule dans "sitemap"
  • N'oubliez pas de mettre un espace après "Sitemap:"
2
Deepak Mathur