Airbnb Airflow vs Apache Nifi
Airflow et Nifi effectuent-ils le même travail sur les workflows? Quels sont les avantages/inconvénients de chacun? J'ai besoin de lire certains fichiers json, d'y ajouter plus de métadonnées personnalisées et de les mettre dans une file d'attente Kafka à traiter. J'ai pu le faire dans Nifi. Je travaille toujours sur Airflow. J'essaie de choisir le meilleur moteur de workflow pour mon projet Merci!
Pour un excellent aperçu de Airflow et Apache NiFi, consultez ce post reddit: https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_Apache_nifi/
Pour votre cas d'utilisation spécifique d'ingestion de fichiers Json, d'enrichissement et de routage vers Kafka je crois que NiFi est le bon outil pour le travail. Un couple de processeurs que vous pourriez potentiellement utiliser, ainsi que documentation pour chacun, sont ci-dessous:
JoltTransformJSON: https://nifi.Apache.org/docs/nifi-docs/components/org.Apache.nifi/nifi-standard-nar/1.9.2/org.Apache.nifi.processors.standard. JoltTransformJSON/index.html
PublishKafka (ou PublishKafka_0_10 selon votre version): https://nifi.Apache.org/docs/nifi-docs/components/org.Apache.nifi/nifi-kafka-0-9-nar/1.9. 2/org.Apache.nifi.processors.kafka.pubsub.PublishKafka/index.html