web-dev-qa-db-fra.com

Le blocage de certains fichiers par robots.txt bloque également les URL inutiles.

J'utilise Magento pour l'un de mes sites. Dans Magento, il existe un fichier mage (aucun nom de fichier d'extension n'est mage seulement) pour bloquer ce fichier. J'écris robots.txt

# Files
User-agent: * 
Disallow: /mage

Mais cette URL de blocage commence également par mage comme Magenta-color-item.html.

Comment j'écris dans le robot pour bloquer mage seulement les URL ne commencent pas par mage?

urlweb-crawlersrobots.txtmagento
6
Sandesh

Vous pouvez ajouter un signe dollar à la fin de la chaîne, ce qui signifie qu'il ne fera que correspondre exactement à cette entrée:

# Files
User-agent: * 
Disallow: /mage$

Cela ne bloquera le fichier mage que s'il vient juste après le domaine racine:

www.example.com/mage

S'il existe d'autres répertoires précédents, vous devez les ajouter à l'entrée. Donc pour bloquer le fichier situé en dessous:

www.example.com/somedirectory/mage

Vous devez utiliser:

# Files
    User-agent: * 
    Disallow: /somedirectory/mage$
9
Max