Pas d'index pour un site entier
Je termine un nouveau projet. Je travaille en local depuis quelques semaines/mois. Maintenant, je veux commencer les premiers tests sur le serveur réel et la base de données SQL. Je ne veux pas encore que le site soit public et je ne veux pas que les moteurs de recherche tiennent compte du site jusqu'à ce qu'il soit prêt (ce sera pour bientôt, mais il me faudra une semaine ou deux). Comment dois-je faire cela?
Je sais que pour une seule page, je devrais mettre cela dans la tête:
<meta name="robots" content="noindex" />
Pour un site entier, dois-je mettre cette ligne de code sur toutes les pages ou existe-t-il un meilleur moyen?
La réponse de Nick à l'ajout de robots.txt pourrait ne pas arrêter Google de l'index, mais simplement arrêter de l'explorer, mais Google pourrait indexer - lien officiel ici .
Ajouter meta noindex est trop risqué si vous travaillez avec une équipe qui n'est pas consciente des implications de la balise noindex, si elle est poussée à env.
<meta name="robots" content="noindex">
Je vous recommanderais d'utiliser un mot de passe pour protéger votre site Web , qui semble fonctionner de manière optimale et facile à gérer, avec des membres de l'équipe peu avertis en matière de référencement. . Et fait le travail d'empêcher l'accès aux utilisateurs ainsi qu'aux moteurs de recherche.
C'est une mauvaise idée d'utiliser le fichier robots.txt pour arrêter l'analyse sur un site que vous ne souhaitez pas indexer.
Si vous empêchez Google d'explorer votre site, il ne pourra jamais voir vos pages et, par conséquent, ne verra jamais la balise noindex ni son en-tête. Donc, une fois qu'une page est dans l'index et est bloquée par le fichier robots.txt, Google ne verra jamais la balise lui dire de la supprimer.
Si votre seule préoccupation est l'indexation (par exemple, pas un visiteur humain aléatoire la trouvant), vous pouvez demander à votre serveur d'envoyer un en-tête noindex.
Sur Apache utilisant .htaccess, ce serait
Header set X-Robots-Tag "noindex, nofollow"
Voir l'article sur Yoast pour plus de détails. https://yoast.com/prevent-site-being-indexed/