Choisir un serveur de recherche plein texte autonome: Sphinx ou SOLR?

Question

Je recherche un serveur de recherche en texte intégral autonome doté des propriétés suivantes:

• Doit fonctionner comme un serveur autonome pouvant traiter les demandes de recherche de plusieurs clients
• Doit pouvoir effectuer une "indexation en masse" en indexant le résultat d'une requête SQL: dites "SELECT id, text_to_index FROM documents;"
• Doit être un logiciel libre et doit fonctionner sous Linux avec MySQL comme base de données
• Doit être rapide (exclut la recherche plein texte interne de MySQL)

Les alternatives que j'ai trouvées qui ont ces propriétés sont:

• Solr (basé sur Lucene)
• ElasticSearch (également basé sur Lucene)
• Sphinx

Mes questions:

• Comment se comparent-ils?
• Ai-je raté des alternatives?
• Je sais que chaque cas d'utilisation est différent, mais y a-t-il des cas où je voudrais certainement pas utiliser un certain paquet?

Answer 1

J'utilise Solr avec succès depuis près de 2 ans maintenant et je n'ai jamais utilisé Sphinx. Je suis donc manifestement partial. Cependant, je vais essayer de rester objectif en citant les docs ou d’autres personnes. Je vais aussi prendre des correctifs à ma réponse :-)

Similitudes:

• Solr et Sphinx répondent à toutes vos exigences. Ils sont rapides et conçus pour indexer et rechercher efficacement de gros volumes de données.
• Tous les deux ont une longue liste de sites à fort trafic qui les utilisent ( Solr , Sphinx )
• Les deux offrent un support commercial. ( Solr , Sphinx )
• Les deux offrent des liaisons d'API client pour plusieurs plates-formes/langues ( Sphinx , Solr )
• Les deux peuvent être répartis pour augmenter la vitesse et la capacité ( Sphinx , Solr )

Voici quelques différences:

• Solr, étant un projet Apache, est évidemment sous licence Apache2. Sphinx est GPLv2 . Cela signifie que si vous avez besoin d'intégrer ou d'étendre (pas simplement "utiliser") Sphinx dans une application commerciale, vous devrez acheter une licence commerciale ( justification )
• Solr est facilement intégrable dans Java.
• Solr est construit sur Lucene, une technologie éprouvée sur 8 ans avec un utilisateur énorme base (ceci n’est qu’une petite partie). Chaque fois que Lucene obtient une nouvelle fonctionnalité ou une accélération, Solr l'obtient aussi. La plupart des développeurs qui s’engagent auprès de Solr sont également des committers de Lucene.
• Sphinx s’intègre plus étroitement aux SGBDR, notamment MySQL.
• Solr peut être intégré à Hadoop pour créer des applications distribuées
• Solr peut être intégré à Nutch pour construire rapidement un moteur de recherche Web à part entière avec robot .
• Solr peut indexer les formats propriétaires tels que Microsoft Word, PDF, etc. . Sphinx ne peut pas .
• Solr est livré avec un correcteur orthographique prêt à l'emploi .
• Solr est livré avec support de facette prêt à l'emploi . Facettage au Sphinx prend plus de travail .
• Sphinx n'autorise pas les mises à jour d'index partielles pour les données de champ .
• Dans Sphinx, tous les identifiants de document doivent être des nombres entiers non signés non nuls uniques signés . Solr ne nécessite même pas une clé unique pour de nombreuses opérations , et les clés uniques peuvent être des entiers ou des chaînes.
• Solr prend en charge réduction du champ (actuellement sous forme de correctif supplémentaire uniquement) pour éviter la duplication de résultats similaires. Sphinx ne semble pas fournir une telle fonctionnalité.
• Alors que Sphinx est conçu pour extraire uniquement les identifiants de documents , dans Solr, vous pouvez obtenir directement des documents entiers avec à peu près n'importe quel type de données, ce qui le rend plus indépendant de tout magasin de données externe et enregistre les allers-retours supplémentaires.
• Solr, sauf lorsqu'il est utilisé en mode incorporé, s'exécute dans un conteneur Web Java tel que Tomcat ou Jetty, qui nécessite configuration et ajustement spécifiques supplémentaires (ou vous pouvez utiliser le inclus Jetty et lancez-le simplement avec Java -jar start.jar). Sphinx n'a pas de configuration supplémentaire.

Questions connexes:

• Recherche de texte intégral avec Rails
• Comparaison du moteur de recherche en texte intégral - Lucene, Sphinx, Postgresql, MySQL?

Answer 2

Sphinx est votre meilleur choix, à moins que vous n'ayez besoin d'étendre la fonctionnalité de recherche de manière propriétaire.

Les avantages du Sphinx:

1. Le développement et la configuration sont plus rapides
2. Une agrégation bien meilleure (et plus rapide). Ce fut la fonctionnalité tueur pour nous.
3. Pas de XML. C'est ce qui a finalement été exclu de Solr pour nous. Nous avons dû renvoyer des ensembles de résultats assez volumineux (pensez à des centaines de résultats), puis les regrouper nous-mêmes, car l'agrégation de Solr faisait défaut. Le temps nécessaire à la sérialisation vers et à partir de XML a totalement compromis les performances. Pour de petits ensembles de résultats cependant, c'était parfaitement correct.
4. Meilleure documentation que j'ai vue dans une application open source

Solr avantages:

1. Peut être étendu.
2. Vous pouvez y accéder directement à partir d’une application Web, c’est-à-dire que vous pouvez faire en sorte que des recherches de type autocomplete s’appliquent directement au serveur Solr via AJAX.

Answer 3

Remarque: de nombreux utilisateurs ont la même question à l'esprit.

Donc, pour répondre à la question:

Lequel et pourquoi?

• Utilisez Solr si vous avez l’intention de l’utiliser dans votre application Web (exemple de moteur de recherche de site). Ce sera certainement génial, grâce à son API. Vous aurez certainement besoin de ce pouvoir pour une application Web.

• Utilisez Sphinx si vous souhaitez effectuer une recherche très rapide dans des tonnes de documents/fichiers. Il indexe très vite aussi. Je recommanderais de ne pas l'utiliser dans une application impliquant JSON ou l'analyse XML pour obtenir les résultats de la recherche. Utilisez-le pour des recherches directes en dB. Cela fonctionne très bien sur MySQL.

Alternatives

Bien que ce soient les géants, il y en a beaucoup plus. De plus, certains utilisent ces outils pour alimenter leurs infrastructures personnalisées. Donc, je dirais que vous n'en avez vraiment manqué. Bien qu'il y ait un elasticsearch qui a une bonne base d'utilisateurs.

Answer 4

J'utilise Sphinx depuis presque un an maintenant et c'était incroyable. Je peux indexer 1,5 million de documents en une minute environ sur mon MacBook et encore plus rapidement sur le serveur. J'utilise également Sphinx pour limiter les recherches à des endroits situés sous des latitudes et des longitudes spécifiques, et c'est très rapide. En outre, le classement des résultats est très modifiable. Facile à installer et à configurer, si vous lisez un tutoriel ou deux. Presque 1,0 statut, mais leurs candidats à la libération ont été solides.

Answer 5

Lucene/Solr semble être plus en vedette et avec de plus longues années d'activité et une communauté d'utilisateurs beaucoup plus forte. À mon humble avis, si vous parvenez à surmonter les problèmes de configuration initiaux que certains semblent avoir rencontrés (pas nous), je dirais alors que Lucene/Solr est votre meilleur choix.