Comment utiliser Airflow avec Celery
Je suis nouveau sur airflow et céleri, et j'ai maintenant fini de dessiner dag, mais je veux exécuter la tâche sur deux ordinateurs qui sont dans le même sous-réseau, je veux savoir comment modifier le airflow.cfg. Certains exemples pourraient être meilleurs. Merci à toutes les réponses orz.
Le documentation Airflow couvre cela très bien:
Tout d'abord, vous aurez besoin d'un backend de céleri. Cela peut être par exemple Redis ou RabbitMQ. Ensuite, le paramètre exécuteur dans votre airflow.cfg doit être défini sur CeleryExecutor.
Ensuite, dans la section celery du fichier airflow.cfg, définissez le broker_url pour pointer vers votre backend céleri (par exemple, redis: // your_redis_Host: your_redis_port/1). Point celery_result_backend à une base de données SQL (vous pouvez utiliser la même chose que votre base de données principale de flux d'air).
Ensuite, sur vos machines de travail, démarrez simplement le flux d'air et vos travaux devraient commencer sur les deux machines.