Je souhaite continuer à tester les sites avant de rendre public le site. Par conséquent, je ne souhaite pas que Google commence à explorer le site, car il y aura une grande quantité de déchets lors des tests.
J'ai actuellement une authentification configurée à l'aide de htpasswd. Cela empêchera-t-il les robots d'exploration de sites ou les robots d'analyser mon site?
Oui, si le site nécessite une authentification, les robots ne pourront pas l'explorer.
Vous pouvez également spécifier un fichier robots.txt afin que l'intégralité du site ne soit pas autorisée.