web-dev-qa-db-fra.com

Airflow: comment faire pour SSH et exécuter BashOperator à partir d'un autre serveur

Existe-t-il un moyen de ssh sur un serveur différent et d'exécuter BashOperator en utilisant Airflow d'Airbnb? J'essaie d'exécuter une commande Hive sql avec Airflow mais je dois passer à un autre boîtier SSH pour pouvoir exécuter Hive Shell. .____.] Mes tâches devraient ressembler à ceci:

  1. SSH à server1
  2. commencer Hive Shell
  3. lancer la commande Hive

Merci!

pythonsshairflow
9
CMPE

Je pense que je viens de le comprendre:

  1. Créez une connexion SSH dans l'interface utilisateur sous Admin> Connexion. Remarque: la connexion sera supprimée si vous réinitialisez la base de données.

  2. Dans le fichier Python, ajoutez ce qui suit

    from airflow.contrib.hooks import SSHHook
sshHook = SSHHook(conn_id=<YOUR CONNECTION ID FROM THE UI>)

  3. Ajouter la tâche opérateur SSH

    t1 = SSHExecuteOperator(
    task_id="task1",
    bash_command=<YOUR COMMAND>,
    ssh_hook=sshHook,
    dag=dag)

Merci!

20
CMPE

La réponse d'Anton est à noter que l'argument est en fait ssh_conn_id et non pas conn_id pour l'objet SSHOperator. Au moins dans la version 1.10.

Un exemple rapide ressemblerait à

from datetime import timedelta, datetime
import airflow
from airflow import DAG
from airflow.contrib.operators.ssh_operator import SSHOperator
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'email': ['[email protected]'],
    'email_on_failure': False,
    'email_on_retry': False,
    'start_date': datetime.now() - timedelta(minutes=20),
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}
dag = DAG(dag_id='testing_stuff',
          default_args=default_args,
          schedule_interval='0,10,20,30,40,50 * * * *',
          dagrun_timeout=timedelta(seconds=120))
# Step 1 - Dump data from postgres databases
t1_bash = """
echo 'Hello World'
"""
t1 = SSHOperator(
    ssh_conn_id='ssh_default',
    task_id='test_ssh_operator',
    command=t1_bash,
    dag=dag)
4
user1978220