Page inexistante inexistante demandée depuis des mois
Bien que je connaisse assez bien les robots qui demandent des pages connues comme celles utilisées pour WordPress et phpMyAdmin sur tous les sites accessibles, j'ai maintenant affaire à un bot qui a demandé une page que je ne peux vraiment pas expliquer.
Depuis plusieurs mois, une page /featured/like?id=XXX (XXX étant un entier à 3 chiffres) est demandée plus de 10 fois par jour depuis six mois, à partir de plusieurs adresses IP de pays tels que la France, l'Allemagne et Ukraine (le site est hébergé et est destiné aux Pays-Bas).
Cette page n'existe pas et n'est indexée par aucun moteur de recherche.
Je suis presque sûr que c'est juste un autre bot qui essaie de trouver une page utilisée par un framework, mais cela dure depuis des mois, alors je veux juste m'en assurer.
Est-ce que quelqu'un sait pourquoi cette page continue à être demandée?
Hm ...
Le moyen rapide d'empêcher les robots de visiter votre site consiste à insérer ces deux lignes dans le fichier /robots.txt de votre serveur:
User-agent: *
Disallow: /
Essayez de mettre cela pour un jour, et voir ce qui se passe. Cela ne sert qu'avec des robots bien élevés.
Mais si vous souhaitez interdire spécifiquement cette page,
Disallow: /featured/
Faites cela et voyez ce qui se passe.