Devrais-je bloquer les moteurs de recherche avec le fichier robots.txt sur mon application Facebook?
Il y a quelques sous-domaines sur ma page d'accueil où je profite de robots.txt pour empêcher les moteurs de recherche d'indexer leur contenu, comme mes images et mes téléchargements de sous-domaines, car je ne souhaite pas que les URL directes de ce contenu soient indexées.
Je le fais comme ça:
User-agent: *
Disallow: /
Maintenant, j'ai un nouveau sous-domaine 'facebook' que je vais utiliser pour héberger des applications développées pour Facebook. Ma question est la suivante: dois-je utiliser le code ci-dessus pour bloquer également ce sous-domaine?
L'application elle-même ne devrait pas être accessible et utilisée via l'URL directe (mais cela fonctionne toujours, je crois, je ne l'ai pas testée cependant), elle devrait être utilisée via l'URL de la zone de dessin, qui ressemble à quelque chose comme apps.facebook.com/app_name. Les moteurs de recherche n’indexent pas cette URL, c’est le bon. Mais je ne pense pas qu'il soit logique pour eux d'indexer quelque chose comme "facebook.mydomain.com/apps/app_name".
Devrais-je bloquer les moteurs de recherche avec le fichier robots.txt pour les applications Facebook ou dois-je l'ignorer? Une bonne raison d'autoriser les moteurs de recherche à l'explorer?
Bloque le. S'ils n'ont aucune raison de s'y rendre en accédant directement à cette URL, vous devez faire de votre mieux pour empêcher les utilisateurs de tomber sur elle. Vous ne savez jamais s’il existe une vulnérabilité ou un autre problème lié à l’accès direct à ce contenu. Par conséquent, s’il n’est pas nécessaire que quelqu'un y accède de cette manière, pourquoi même laisser la possibilité de régler des problèmes liés à ce contenu? Si ce contenu est conçu pour un accès via Facebook, assurez-vous que c'est le seul moyen d'y parvenir.