Facebook et Crawl-delay dans le fichier robots.txt?
Les robots d'exploration de Facebook (par exemple (facebookexternalhit/* ) respectent-ils la directive Crawl-delay: dans robots.txt fichiers?
Cette même question était posée sur Stack Overflow .
La réponse est que le racleur Facebook n'obéit pas à un fichier robots.txt ou ne prend pas en charge un délai d'analyse. Le mieux que vous puissiez espérer est de mettre en place une sorte de limitation du côté serveur. Un code pour ce faire a été fourni comme une des réponses à Stack Overflow.