Baidu Spider n'obéit pas au DNS TTL
J'ai déplacé mon site web d'un VPS à un autre le 16 avril.
L'enregistrement A du nom de domaine a un TTL sur 86400. J'ai fait le changement d'adresse IP à 19:00 GMT le 16 avril.
Je ne veux pas que le site fasse face aux temps morts, je garde donc l'ancien VPS en vie.
Aujourd'hui est le troisième jour et le journal des accès sur l'ancien serveur affiche les hits de l'araignée Baidu.
Cela fait plus de 60 heures, mais pourquoi ce robot explore-t-il toujours l'ancienne adresse IP?
J'utilise AWS Router53 pour le DNS.
Baidu araignée n'obéit pas non plus correctement à robots.txt dans certains cas. Ils semblent avoir une histoire de faire les choses à leur manière (mauvaise).
Sauf si vous avez un site Web chinois qui reçoit beaucoup de trafic du moteur de recherche Baidu, pourquoi voudriez-vous garder votre ancien serveur juste pour rendre l'araignée Baidu heureuse?