web-dev-qa-db-fra.com

Comment déclencher un DAG sur le succès d'un autre DAG dans Airflow en utilisant Python?

J'ai un python DAG Parent Job et DAG Child Job. Les tâches dans le Child Job doit être déclenché à l'issue de l'exécution de Parent Job tâches exécutées quotidiennement. Comment ajouter un déclencheur de tâche externe?

MON CODE

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.postgres_operator import PostgresOperator
from utils import FAILURE_EMAILS

yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time())


default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': yesterday,
    'email': FAILURE_EMAILS,
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG('Child Job', default_args=default_args, schedule_interval='@daily')

execute_notebook = PostgresOperator(
  task_id='data_sql',
  postgres_conn_id='REDSHIFT_CONN',
  sql="SELECT * FROM athena_rs.shipments limit 5",
  dag=dag
)
pythonpython-3.xairflowdirected-acyclic-graphsairflow-scheduler
3
aeapen

Comme demandé par @ pankaj , j'ajoute ici un extrait de code représentant déclenchement réactif utilisant TriggerDagRunOperator (par opposition à déclenchement basé sur un sondage sur ExternalTaskSensor)

from typing import List

from airflow.models.baseoperator import BaseOperator
from airflow.models.dag import DAG
from airflow.operators.dagrun_operator import TriggerDagRunOperator
from airflow.utils.trigger_rule import TriggerRule

# DAG object
my_dag: DAG = DAG(dag_id='my_dag',
                  start_date=..)
..
# a list of 'tail' tasks: tasks that have no downstream tasks
tail_tasks_of_first_dag: List[BaseOperator] = my_magic_function_that_determines_all_tail_tasks(..)
..

# our trigger task
my_trigger_task: TriggerDagRunOperator = TriggerDagRunOperator(dag=my_dag,
                                                               task_id='my_trigger_task',
                                                               trigger_rule=TriggerRule.ALL_SUCCESS,
                                                               external_dag_id='id_of_dag_to_be_triggered')
# our trigger task should run when all 'tail' tasks have completed / succeeded
tail_tasks_of_first_dag >> my_trigger_task

Notez que l'extrait est uniquement à des fins de référence; il n'a PAS été testé

Points à noter/Références

1
y2k-shubham