Obtenir une demande de recherche Google
J'essaie d'obtenir du HTML avec les résultats de recherche de Google. En envoyant une demande GET par exemple à:
https://www.google.ru/?q=1111
Mais si dans le navigateur tout va bien, lorsque j'essaie de l'utiliser avec curl ou d'obtenir la source avec "View source" dans Google, il n'y a que du code Javascript, pas de résultat de recherche. Est-ce une sorte de protection? Que puis-je faire?
Ajouter un peu plus de sauce aux réponses car elles ne sont pas correctes et ne répondent même pas à votre problème.
Tout d'abord, il est parfaitement légal de gratter Google tant que vous ne nuisez pas à leur service par le biais de celui-ci (comme DoS).
De plus, les méthodes n'ont pas été bloquées, ce n'est tout simplement pas si simple.
La vitesse dépend de vos méthodes, elle ne doit pas être très lente.
Vous pouvez gratter dix milliers de pages de mots clés en une minute si nécessaire.
Vous trouverez une meilleure réponse au sujet ici: Est-ce correct de gratter les données des résultats de Google?
Votre problème avec curl vient en effet de la protection, Google ne permet pas un accès automatisé et il dispose d'un ensemble très sophistiqué d'algorithmes de détection.
.