web-dev-qa-db-fra.com

Flux d'air: le fichier journal n'est pas local, emplacement de journal distant non pris en charge

Je ne parviens pas à voir les journaux attachés aux tâches à partir de l'interface utilisateur d'Airflow:  enter image description here

Les paramètres liés au journal dans le fichier airflow.cfg sont les suivants:

  • remote_base_log_folder =
  • base_log_folder = /home/my_projects/ksaprice_project/airflow/logs
  • worker_log_server_port = 8793 
  • child_process_log_directory = /home/my_projects/ksaprice_project/airflow/logs/scheduler

Bien que je mette remote_base_log_folter, il essaie d'extraire le journal à partir de http://:8793/log/tutorial/print_date/2017-08-02T00:00:00 - je ne comprends pas ce comportement. Selon les paramètres, les utilisateurs doivent stocker les journaux au /home/my_projects/ksaprice_project/airflow/logs et les récupérer à partir du même emplacement au lieu de distants. 

Update Task_instance content contenu:  enter image description here

airflowapache-airflowairflow-scheduler
12
javed

J'ai aussi fait face au même problème.

La définition des variables ci-dessous dans airflow.cfg a fonctionné pour moi. Utilisez {hostname} comme FQDN {hostname} de la machine au lieu de localhost.

endpoint_url = http://{hostname}:8080

base_url = http://{hostname}:8080

Bonne chance!

6
Jaguar

Comme vous pouvez le voir dans l'image-1, il y a un horodatage, assurez-vous que dans vos journaux, vous avez le nom du dossier/fichier portant cet horodatage. 

Vous regardez dans l'interface utilisateur, assurez-vous d'abord d'avoir des fichiers journaux créés dans le répertoire, dans mon cas, mon dossier de journal ressemble à

(AIRFLOW-ENV) [cloudera@quickstart dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task 
total 8
-rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
-rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
(AIRFLOW-ENV) [cloudera@quickstart dags]$

Donc, mon URL de journal est

http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727

Lorsque vous accédez à votre DAG et sélectionnez GRAPH-VIEW, vous pouvez voir un menu déroulant en regard de "RUN", sélectionner le cycle approprié, puis dans la vue graphique ci-dessous, sélectionner la tâche/l'opérateur approprié et sélectionner Afficher

1
Manjesh

Je me suis heurté à cela aussi et j'ai dû suspendre les tâches.

dags_are_paused_at_creation = False

Je mets également les nouveaux dags par défaut sur non suspendus dans mon fichier airflow.cfg

dags_are_paused_at_creation = False
0
user8697151