Quelles sont les alternatives maintenant que l'API de recherche sur le Web de Google est obsolète?
L'API de recherche Web de Google est obsolète et remplacé par l'API de recherche personnalisée (voir http://code.google.com/apis/websearch/ ).
Je voulais effectuer une recherche sur l'ensemble du Web, mais avec la nouvelle API, il semble que seuls les sites personnalisés puissent être recherchés.
Y at-il un moyen de rechercher tout le Web par programme? J'ai pu interroger l'ancienne API à l'aide de JSON à partir d'un programme Java.
Vous pouvez simplement les envoyer comme le ferait un navigateur, puis analyser le code HTML, c’est ce que j’ai toujours fait, même pour des choses comme Youtube.
Oui, Google Custom Search a remplacé l'ancienne API de recherche, mais vous pouvez continuer à utiliser Google Custom Search pour effectuer une recherche sur l'ensemble du Web , bien que les étapes ne soient pas évidentes dans la configuration de la recherche personnalisée.
Pour créer un moteur de recherche personnalisé Google qui effectue des recherches sur tout le Web:
- Sur la page d'accueil de la recherche personnalisée Google ( http://www.google.com/cse/ ), cliquez sur Créer un moteur de recherche personnalisé.
- Tapez un nom et une description pour votre moteur de recherche.
- Sous Définissez votre moteur de recherche, dans la zone Sites à rechercher, entrez au moins une URL valide (pour l'instant, mettez simplement www.anyurl.com pour passer au-delà de cet écran. Plus d'informations à ce sujet plus tard).
- Sélectionnez l'édition CSE souhaitée et acceptez les conditions d'utilisation, puis cliquez sur Suivant. Sélectionnez l'option de disposition souhaitée, puis cliquez sur Suivant.
- Cliquez sur l'un des liens sous la section Étapes suivantes pour accéder à votre panneau de configuration.
- Dans le menu de gauche, sous Panneau de configuration, cliquez sur Basics.
- Dans la section Préférences de recherche, sélectionnez Rechercher sur le Web tout en mettant l'accent sur les sites inclus.
- Cliquez sur Enregistrer les modifications.
- Dans le menu de gauche, sous Panneau de configuration, cliquez sur Sites.
- Supprimez le site que vous avez entré lors du processus de configuration initiale.
Maintenant, votre moteur de recherche personnalisé effectuera une recherche sur tout le Web.
Prix
- La recherche personnalisée Google vous donne gratuitement 100 requêtes par jour.
- Après cela, vous payez 5 $ par 1000 requêtes.
- Il y a un maximum de 10 000 requêtes par jour.
Source: https://developers.google.com/custom-search/json-api/v1/overview#Pricing
- La qualité de la recherche est bien inférieure à la recherche normale sur Google (pas de synonymes, "intelligence", etc.)
- Il semble que Google envisage même de fermer complètement ce service.
La recherche personnalisée Google (comme le préconisent les réponses les mieux notées) fonctionne bien, mais coûte très cher par rapport à ses concurrents (ci-dessous) ou par rapport à d'autres API Google. Il a un petit niveau gratuit (100 requêtes/jour) et un prix très élevé de 5 $ par 1000 requêtes.
Ils offrent la possibilité de passer à la recherche sur site, qui offre des prix légèrement meilleurs, mais qui est destiné à la recherche sur un site (le vôtre).
Les principales alternatives semblent être:
API de recherche Bing
https://datamarket.Azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Qui a un niveau gratuit de 5000q/mois, et des prix commençant à 5 requêtes par centime, et aucune limite stricte.
MISE À JOUR: Fin 2016, cette API a été arrêtée au profit de son homologue Azure, "API de recherche Bitive Cognitive Services":
https://Azure.Microsoft.com/en-us/services/cognitive-services/search/
Voir ici pour un tableau de prix, qui commence à US $ 3/m pour 1 000 transactions. À moins que je manque quelque chose c'est assez cher.
API de recherche Yahoo BOSS
MISE À JOUR: a été interrompue le 31 mars 2016. http://developer.yahoo.com/boss/search/
Avec des prix commençant à environ 12 requêtes/centime pour des recherches sur tout le Web.
Et certains dont je n'ai pas entendu parler auparavant:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.entireweb.com/search_api/implementation/
[discontinué - comme indiqué ci-dessous]
Il y a un peu de discussion de certains de ceux-ci sur this SO post .
[s'est fermé pour être hors sujet et est maintenant parti]
Voici une option au bas du panneau de configuration de la recherche personnalisée: "Sites à rechercher", vous pouvez choisir "Rechercher sur le Web tout en mettant en valeur les sites inclus"
Faroo a un API de recherche Web gratuite
Je viens de rencontrer cela de Common Crawl.
Peut-être la réponse que nous recherchons tous!
Il y a une note en haut du docs :
Remarque: L'API de recherche Web de Google est officiellement obsolète depuis le 1 er novembre 2010. Il continuera à fonctionner conformément à notre politique d'amortissement , mais le nombre de demandes que vous pourrez effectuer par jour sera limité. Par conséquent, nous vous encourageons à passer à la nouvelle version API de recherche personnalisée .
Le politique de dépréciation indique qu'ils continueront à exécuter l'API pendant 3 ans. Donc, si vous avez déjà une application qui utilise l'ancienne API, vous n'avez pas à vous précipiter pour changer les choses pour l'instant. Si vous écrivez une nouvelle application, utilisez le API de recherche personnalisée . Voir ma réponse ici pour savoir comment faire cela en Python, mais l'idée est la même pour toutes les langues.
Il existe une API Java gratuite appelée JFreeWebSearch qui utilise le Faroo déjà mentionné: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
Vous pouvez créer un moteur de recherche personnalisé "partout" directement à partir de la page d'accueil de Google Custom Search ( http://www.google.com/cse/ ). Vous devez simplement cliquer sur "avancé" lors de l'ajout d'un nouveau moteur. Là, vous pouvez fournir le type de site Schema.org. ' Thing ' est le type le plus générique, qui couvre tout le web.
Gigablast propose une API de recherche Web bon marché: http://www.gigablast.com/searchfeed.html