Quel est le comportement par défaut des robots s'il n'y a pas de balise méta des robots?
En supposant que j'ai une page sans un robots.txt et sans le balise meta robots. Quel est le comportement par défaut des robots? Est-ce qu'ils indexeraient la page et suivraient les liens comme dans:
<meta name="robots" content="index, follow" />
Je demande parce que je veux savoir si je peux supprimer en toute sécurité la balise méta.
Le comportement par défaut des robots s’il n’y a pas robots.txt et que la méta-balise robots consiste à suivre les liens de la page et à l’indexer.
C'est pourquoi <meta name="robots" content="index, follow" /> n'est pas nécessaire si vous voulez le comportement par défaut des robots pour votre page.