Est-ce un fichier robots.txt correct?
J'aimerais autoriser Googlebot et Mediapartners-Google (agent utilisateur AdSense) à explorer mon site Web. J'ai donc écrit le code ci-dessous dans mon fichier robots.txt.
User-agent: Googlebot
Disallow:
User-agent: Mediapartners-Google
Disallow:
Sitemap: http://website.com/sitemap.xml
Le fichier robots.txt ci-dessus est-il correctement écrit? Oui ou non ?
Robots.txt vous permet de bloquer certains robots Web (ne pas autoriser). Si vous souhaitez autoriser un robot spécifique comme Googlebot, ignorez-le simplement dans votre robots.txt (identique pour Mediapartners-Google).
Il suffit de regarder robots.txt de Pro Webmasters par exemple.
Si vous ne souhaitez pas bloquer ces deux robots Web et que vous ne voulez pas vous concentrer sur d'autres robots Web, votre fichier robots.txt doit ressembler à ce:
User-agent: *
Allow: /
Sitemap: http://example.com/sitemap.xml