Robots.txt a été modifié pour interdire l'exploration par accident
Notre robots.txt a été modifié par erreur en:
User-agent: *
Disallow: /
Cela s'est produit il y a environ 2 semaines et a été modifié hier pour permettre l'exploration.
Nos pages répertoriées dans les pages de Google ont considérablement diminué, mais il semblerait que Google ait déjà commencé à ajouter davantage de résultats de recherche pour le site en question depuis le changement de robots.txt back.
Y a-t-il des répercussions à long terme, ou est-ce que tout redeviendra normal une fois que le site sera à nouveau exploré?
Si Google a recommencé à ajouter des pages, tout va bien. Cela s'est produit avec quelques sites qui ont été poussés du développement à la production et leur robots.txt n'a pas été modifié.
En fait, à moins d’essayer de bloquer des pages, je recommande de supprimer complètement robots.txt. Inutile de dire tout autoriser robots.txt lorsque c'est l'action par défaut.