Robots.txt et expressions régulières
Si je place une expression régulière dans robots.txt, sera-t-il lisible par les robots d'exploration de sites Web?
Non, la syntaxe robots.txt ne prend en charge que les caractères génériques et non les expressions régulières. Voir ici pour une bonne discussion de la syntaxe: http://www.robotstxt.org/robotstxt.html .
Bien que cela ne fasse pas partie du protocole standard robots.txt (et ne soit donc pas mondialement reconnu), Google et Bing prennent en charge la correspondance de modèle LIMITED.
Par exemple:
User-agent: Googlebot
Disallow: /private*/
Bloquera Googlebot de tout répertoire commençant par "privé". Actuellement, Googlebot prend en charge * et $ (fin de chaîne).
Détails sur la correspondance de modèle de Googlebot: http://www.google.com/support/webmasters/bin/answer.py?hl=fr&answer=156449