Peut-il être destructif d'interdire toutes les pages MediaWiki: Special dans robots.txt?
J'envisage d'empêcher l'indexation de toutes les pages de MediaWiki 1.33.0 Special ;
(En hébreu, "מיוחד" signifie "spécial"):
Disallow: /מיוחד:*
Disallow: /index.php?title=מיוחד:*
Disallow: /index.php%3Ftitle%3D%D7%9E%D7%99%D7%95%D7%97%D7%93:*
Cela est généralement bon parce que beaucoup de ces pages ne sont pas utiles à l'internaute moyen (plutôt qu'au personnel uniquement), mais certaines sont importantes à la fois pour les utilisateurs réguliers et les robots d'exploration.
Un problème de non-indexation des "Modifications récentes" et des "Catégories" est cependant plausible, car ces deux Spécial les pages servent de "petits pseudo-plans dynamiques" qui donnent accès à pratiquement toutes les pages Web du site.
Souhaitez-vous supprimer Disallow des pages spéciales MediaWiki de robots.txt?
Pourriez-vous le conserver avec une bonne liste d'exceptions uniquement pour les "Modifications récentes" et les "Catégories"?
Adopteriez-vous une approche totalement différente?
MediaWiki.org inclut cela dans leur fichier robots.txt :
Disallow: /wiki/Special:
Disallow: /wiki/Spezial:
Disallow: /wiki/Spesial:
Disallow: /wiki/Special%3A
Disallow: /wiki/Spezial%3A
Disallow: /wiki/Spesial%3A