web-dev-qa-db-fra.com

Splunk est incroyablement cher: quelles sont les alternatives?

Duplicata possible:
Alternatives à Splunk?

Cela a été discuté, mais cela fait plusieurs mois, il est donc peut-être temps de le revoir:

Discussion précédente sur les alternatives RE Splunk

Pour mémoire, Splunk rocks. Mais le prix est tout simplement au-delà de ce que nous pouvons considérer (lorsque j'ai parlé avec Splunk aujourd'hui, le coût d'un système pour indexer 5 Go/jour de données dépasse 30 000 $.)

C'est plus que ce que nous dépensons pour SQL Server (par un grand multiple), plus que nous dépensons pour un rack de serveurs (par un multiple), etc. etc.

L'équipe de vente splunk est correcte (pour 30 000 $, nous obtenons plus de valeur et de fonctionnalités que si nous dépensons la même chose pour construire notre propre système), mais cela n'a pas d'importance. Le coût splunk est tout simplement trop élevé (par un multiple).

Soooooo, nous regardons autour de nous!

Y a-t-il quelqu'un là-bas qui construit un système similaire

Notre besoin fondamental:

  • Capable d'écouter les messages syslog sur plusieurs ports udp
  • Capable d'indexer les données entrantes de manière asynchrone
  • Une sorte de moteur de recherche
  • Une sorte d'interface utilisateur
  • Une API pour le moteur de recherche (à intégrer dans notre console)

Nous devons actuellement indexer 3 à 5 Go/jour, mais nous devons pouvoir évoluer jusqu'à 10 Go/jour ou plus. Nous n'avons pas besoin de beaucoup d'histoire (30 jours c'est bien).

Nous utilisons des serveurs Windows 2008 et 2003.

Merci pour vos pensées!

[~ # ~] mise à jour [~ # ~] : Nous avons passé deux semaines à rechercher des options commerciales et open source. Notre conclusion: écrivez la nôtre (nous sommes une société de logiciels ... nous savons écrire des choses). Nous avons construit un excellent système basé sur mongodb et .NET qui nous donne les fonctions dont nous avions besoin de MongoDB en environ une semaine d'ingénierie. Nous avons maintenant terminé notre mise en œuvre. Nous utilisons deux serveurs Mongodb (maître et esclave), et sommes en mesure de consigner et d'indexer n'importe quelle quantité de données de journal (5 Go/jour, 15 Go/jour, etc.), limitée uniquement par l'espace disque.

MISE À JOUR DE LA MISE À JOUR (décembre 2012) : Nous continuons à utiliser notre solution mongodb, et cela fonctionne très bien! Si nous le construisions aujourd'hui, nous envisagerions fortement de le construire en plus de elasticsearch.

[~ # ~] observations [~ # ~] : Cet espace a besoin d'une solution solide qui est forfaitaire de 1000-3000 $. Les modèles de licence utilisés par les entreprises commerciales sont basés sur des modèles de "lait des opérateurs de centre de données". C'est leur droit (bien sûr!), Mais cela laisse un espace ÉNORME ouvert pour que quelqu'un vienne en dessous d'eux. Je suppose que dans un an ou deux, il y aura une bonne solution open source qui sera vraiment utilisable.

Merci à tous pour votre contribution (même s'il s'agissait d'une auto-promotion).

syslogdatacentersplunk
49
Jonesome Reinstate Monica

logstash est un outil de gestion des événements et des journaux. Vous pouvez l'utiliser pour collecter des journaux, les analyser et les stocker pour une utilisation ultérieure (comme pour la recherche). En parlant de recherche, logstash est livré avec une interface Web pour rechercher et explorer tous vos journaux.

https://www.elastic.co/products/logstash

C'est encore assez tôt dans le développement, mais cela semble très prometteur et évolue rapidement.

25
Holger Just

Je n'ai pas de matrice de comparaison pour les éléments suivants dans mon esprit, surtout en ce qui concerne la comparaison avec Splunk:

Voici quelques outils pleinement opérationnels:

Octopussy http://www.octopussy.pm

Logreport http://www.logreport.org/

Caisse claire: http://www.intersectalliance.com/projects/index.html

Navigateur de journaux: http://www.crypt.gen.nz/logsurfer/

Analyseur de journaux: http://loganalyzer.adiscon.com/

Chronologie du journal 2: http://log2timeline.net/#download (il s'agit davantage d'un outil d'analyse "chronologie")

Enfin, si vous voulez faire du codage vous-même mais que vous avez peut-être une solution plus évolutive: (ce qui suit sont des outils pour collecter des données de journal, ils n'ont pas nécessairement toutes les fonctionnalités prêtes à l'emploi pour rechercher dans les données.)

Honu https://github.com/jboulon/Hon

Chukwa http://wiki.Apache.org/hadoop/Chukwa

Flume http://archive.cloudera.com/cdh/3/flume/

Modifier: Ajout de ce lien de comparaison: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-Zoo-getting-data.html

Edit: Ajouté Graylog2 : Ajouté Logstash. Logstash est probablement le mieux placé à ce jour pour devenir le "remplaçant splunk open source".

9
Not Now