Robots.txt et correspondance de modèle
Ajouter ceci à mon fichier robots.txt
User-agent: *
Disallow: /*action=*$
Comment les robots ne reconnaissant pas les caractères génériques gèrent-ils cela?
Les robots qui ne reconnaissent pas les caractères génériques (qui ne figurent pas dans les spécifications officielles) traiteront * comme un caractère littéral. Le fait qu'il ne s'agisse pas d'un caractère URL valide peut signifier qu'ils ignorent totalement la règle. Dans les deux cas, cela signifie probablement que la règle ne les affectera pas.
Cela dépendra un peu de la mise en œuvre exacte du schéma de rendu des robots.txt et ne peut pas être entièrement pris en compte.
Si vous voulez éviter cela, vous pouvez avoir une configuration séparée pour Googlebot (et d'autres qui respectent le fichier robots.txt.
Par exemple.
User-agent: *
Disallow: /
User-Agent: Googlebot
Disallow: /*action=*$
Ce qui interdit tous les robots sauf Googlebot qui respectera la configuration générique.