Puis-je bloquer des requêtes qui n'ont pas d'agent utilisateur parce qu'elles provoquent des erreurs 404?
Est-il possible de bloquer les demandes ne contenant aucun agent d'utilisateur? Je reçois des erreurs 404 aléatoires sur des URL que je n'ai jamais utilisées. Ces demandes n'ont pas d'agent utilisateur. Si tel est le cas, cela affectera-t-il l'un de mes référencement?
blocage de l'agent utilisateur
Le blocage basé sur aucun agent d'utilisateur est une idée idiote ... de nombreux utilisateurs qui souhaitent rester anonymes via VPNS désactivent souvent l'agent d'utilisateur et tout ce qui peut être utilisé pour collecter des données ... Et l'anonymat grandit. De plus, si l’idée est d’économiser des ressources, il convient de noter que la plupart des robots qui ne sont pas des robots de moteur de recherche légitimes utilisent des agents d’utilisation.
404 est normal
Le code correct pour une page inexistante est 404 ... renvoyer quoi que ce soit serait incorrect et si vous rencontrez des problèmes avec les robots et que vous craignez que de nombreuses ressources ne soient utilisées, l'utilisation du blocage sur l'agent utilisateur serait incorrecte fonctionnerait mais pourquoi quand il y a un moyen plus simple ...
demandes ralenties
Vous pouvez bloquer les adresses IP, les agents utilisateurs, etc., mais il existe un moyen beaucoup plus simple ... simplement en utilisant status 429 Too Many Requests (RFC 6585), tous les bots, tous les utilisateurs, etc., demandent trop de données trop souvent au cours d'une certaine période. Il est courant de voir que certains des sites les plus visités au monde utilisent cette méthode et son efficacité. Si vous voulez passer votre temps à parcourir les adresses IP à partir de journaux et à les bannir, le code de statut que vous devez renvoyer 403 Forbidden