Combinez les agents utilisateurs dans le fichier robots.txt
Les utilisateurs-agents peuvent-ils être listés ensemble, suivis de leurs règles communes comme dans un robots.txt?
User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/
Oui. En supposant que les noms de vos agents soient spécifiés correctement, il semble que cela devrait fonctionner. Voici une ressource si vous voulez en savoir plus. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt