Yandex remplace fréquemment les noms de page par des esperluettes
L'araignée Yandex est un visiteur fréquent de l'un des sites que je gère. À l'occasion, il remplace le nom de la page par deux esperluettes et un espace. Donc si la page est:
/mypage.aspx?param=value
alors il va essayer de l'explorer comme:
/&& ?param=value
Une idée pourquoi il fait ça?
MODIFIER:
Si je me souviens bien de l’IP, l’origine de cette erreur est basée en Californie et non en Russie. Je crois qu'ils explorent les sites américains à partir d'une adresse IP basée aux États-Unis. Je ne sais pas si ça aide.
Plus d'informations sur la demande:
IP: 199.21.99.82
City: Palo Alto
State: California
Country: United States
ISP: Yandex Inc.
User-Agent: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Il ne peut y avoir que deux explications à ce comportement:
- Le robot a trouvé un lien vers cette URL mal formée, sur votre site ou sur un autre site.
- Le robot d'exploration Yandex a un bug.
Si vous ne voyez pas cette URL explorée par d'autres robots ou visitée par de vrais utilisateurs, alors je soupçonne qu'il s'agit d'un bogue avec le robot d'exploration Yandex. Quant à la raison pour laquelle Yandex aurait ce bug particulier, je ne peux pas le dire. Il n’existe aucune raison valable pour un agent d’utilisateur d’effectuer ce type de substitution dans une URL.