Où Hadoop stocke-t-il les journaux des applications YARN?
Je lance l'exemple de base de Hortonworks ' exemple d'application de fil . L'application échoue et je veux lire les journaux pour comprendre pourquoi. Mais je ne trouve aucun fichier à l'emplacement attendu (/HADOOP_INSTALL_FOLDER/logs) où sont stockés les journaux de mes travaux mapreduce.
Quelqu'un sait-il où le fil stocke les fichiers journaux non mapreduce? Dois-je configurer un répertoire spécial dans les fichiers xml?
Les journaux de conteneur doivent être sous yarn.nodemanager.log-dirs :
Où stocker les journaux des conteneurs. Le répertoire des journaux localisés d'une application se trouve dans
${yarn.nodemanager.log-dirs}/application_${appid}. Les répertoires de journaux des conteneurs individuels seront en dessous, dans les répertoires nomméscontainer_{$contid}. Chaque répertoire de conteneur contiendra les fichiers stderr, stdin et syslog générés par ce conteneur.
L'agrégation de journaux a été implémentée dans YARN, en raison de laquelle l'emplacement des fichiers journaux variera par rapport à Hadoop 1.
Vous pouvez obtenir les journaux de votre application de deux manières: WebUi et accès en ligne de commande.
Veuillez parcourir le document ci-dessous qui vous donne des informations très claires sur cette implémentation d'agrégation de journaux sur YARN.
http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/
Merci à l'auteur du blog, Vinod Kumar Vavilapalli.