Puis-je utiliser le fichier robots.txt pour autoriser Google à accéder à certains dossiers, mais interdire tout le reste?
Je souhaite autoriser les robots Google à analyser uniquement mon index.php et le contenu de certains dossiers. Cela fonctionnerait-il?
User-agent: *
Allow: /index*.php
Allow: /folder1/
Allow: /folder2/
Allow: /folder3/
Allow: /folder4/
Disallow: /
L'idée est que Google explore les URL telles que:
http://example.com/folder1/discussionA/topic/http://example.com/folder1/discussionB/topic/http://example.com/folder1/discussionC/topic/http://example.com/folder2/discussionD/topic/
et exclure tout le reste.
Je me concentre généralement sur ce que je ne veux pas qu'ils explorent, mais je pense que votre échantillon semble être sur la cible. Je voudrais cependant supprimer l’espace entre la première ligne et la seconde:
User-agent: *
Allow: /index*.php
Allow: /folder1/