web-dev-qa-db-fra.com

Dans le fichier robots.txt, pourquoi "Autoriser: / *" apparaît-il en dessous d'une règle d'interdiction d'admission?

Je souhaite autoriser un accès complet à tous les sites Google.

Je suis particulièrement confus à propos de Allow: /* ci-dessous Disallow:

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google
Disallow:
robots.txtgooglebotweb-crawlers
2
Md Shamsher Khan

La directive Allowest une extension non standard de robots.txt. Le standard original robots.txt inclut uniquement les directives Disallowname__. Les robots de Google do comprennent les directives Allowname__; il serait donc correct de les utiliser dans des sections destinées à un robot Google. La directive Allowne doit être utilisée que si elle est plus spécifique que la directive Disallowname__. Cela neutralisera le Disallowname__. Il peut être utilisé pour donner une réserve plus fine (peut-être juste une seule page) de la section entière qui serait autrement interdite.

Dans votre cas, la directive Allowdit la même chose que la directive Disallowname__. Elle doit donc être omise.

Vous dites que vous souhaitez autoriser tous les robots Google à explorer l'ensemble de votre site. Si tel est le cas, vous aurez également besoin d'une règle pour le nom principal Googlebotname__. Je suggère d'utiliser ceci dans votre robots.txt

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# Googlebot
User-agent: Googlebot
Disallow:
1
Stephen Ostermiller