Robots.txt sur une ligne
Puis-je combiner des règles robots.txt sur une seule ligne, séparées par des espaces?
Est-ce que ça va marcher?
User-agent: * Disallow: /
Voir spécifications de Google Robots.txt , plus précisément la section Formats de fichier.
Le format de fichier attendu est du texte brut codé en UTF-8. Le fichier est constitué d'enregistrements (lignes) séparés par CR, CR/LF ou LF.
Seuls les enregistrements valides seront considérés. tout autre contenu sera ignoré. Par exemple, si le document obtenu est une page HTML, seules les lignes de texte valides seront prises en compte, le reste sera ignoré sans avertissement ni erreur.
Les sauts de ligne entre les lignes sont donc nécessaires.
Le fichier DOIT se composer d'un ou plusieurs enregistrements séparés par une ou plusieurs lignes vides.
Robots.txt doit utiliser ce format:
<field>:<optionalspace><value><optionalspace>
<field>:<optionalspace><value><optionalspace>
qui ressemble à :
User-agent: *
Disallow: /
Ou sans espaces optionnels et plus de sauts de lignes:
User-agent:*
Disallow:/
Liens utiles