Je vais créer une page Web et je le ferai en ligne.
Devrais-je choisir l'option: "Autoriser les moteurs de recherche à indexer ce site". pendant le développement, ou doit-il être ouvert après la fin du développement?
Le développement ne se termine jamais vraiment. Chaque site Web actif pourrait avoir une bannière "en construction" dessus.
Vous devez autoriser Googlebot à explorer votre site dès que votre premier élément de contenu sera jugé utile par les utilisateurs.
Certains webmasters autorisent même Google à analyser un avis "à venir prochainement" qu'il n'affiche que sur la page d'accueil. Je ne suis pas un grand fan de "coming soon", mais je ne connais aucune bonne raison de ne pas autoriser l'exploration d'une telle page par Google.
Le seul moment où vous devriez empêcher les robots de recherche d'explorer tout un site Web serait lorsque le site contient des informations que vous ne souhaitez pas indexer dans les moteurs de recherche.
Son meilleur à block allow
lors du démarrage d'un nouveau site Web,
Si vous reconstruisez un site existant, vous ne pouvez pas utiliser les options disallow
. La raison principale en est que lorsque vous créez un nouveau site, vous devez avoir du contenu factice dessus. Le moteur de recherche analysera le site sur lequel votre contenu factice a été indexé. C'est une mauvaise idée.
Ma suggestion est donc d'interdire l'analyse du moteur de recherche à partir du fichier robots.txt jusqu'à ce que le site ait un contenu approprié ou qu'il soit lancé.
De même, tout en développant le site, vous pouvez accéder au site sans nom de domaine, tel que direct ip, mais aussi une bonne pratique.
J'espère que ça a du sens ..
Cela dépend vraiment de savoir si vous vous souciez de savoir si votre site est vu "en construction". Il est généralement préférable d'attendre que le site soit complet pour indexer.