web-dev-qa-db-fra.com

Comment redémarrer le fil sur AWS EMR

J'utilise Hadoop 2.6.0 (image emr-4.2.0). J'ai apporté quelques modifications dans yarn-site.xml et je souhaite redémarrer le fil pour que les modifications prennent effet.

Existe-t-il une commande à l'aide de laquelle je peux le faire?

hadoopyarnemr
20
nish

Edit (26/10/2017): Un article plus détaillé du centre de connaissances sur la marche à suivre a été publié ici officiellement par AWS - https://aws.Amazon.com/ premiumsupport/centre de connaissances/restart-service-emr / .

Vous pouvez ssh dans le nœud maître de votre cluster EMR et exécuter -

"Sudo /sbin/stop hadoop-yarn-resourcemanager"
"Sudo /sbin/start hadoop-yarn-resourcemanager"

commandes pour redémarrer le gestionnaire de ressources Yarn. EMR AMI 4.x.x utilise upstart -/sbin/{démarrer, arrêter, redémarrer} sont tous des liens symboliques vers/sbin/initctl, qui fait partie de upstart. Voir la page de manuel initctl pour plus d'informations.

Vous pouvez également suivre les instructions ici pour propager vos modifications dans yarn-site.xml - yarn-change-configuration-on-yarn-site-xml } _

22
annunarcist

Pour ceux qui vont venir de Google

Afin de redémarrer un service dans EMR, effectuez les actions suivantes:

  • Recherchez le nom du service en exécutant la commande suivante:

    initctl list

Par exemple, le service YARN Resource Manager est nommé hadoop-yarn-resourcemanager.

  • Arrêtez le service en lançant la commande suivante:

    Sudo stop hadoop-yarn-resourcemanager

  • Attendez quelques secondes, puis démarrez le service en exécutant la commande suivante: 

    Sudo start hadoop-yarn-resourcemanager

Note: Stop/start est requis; n'utilisez pas la commande de redémarrage. 

  • Vérifiez que le processus est en cours d'exécution en exécutant la commande suivante: 

    Sudo status hadoop-yarn-resourcemanager

Vérifiez le processus à l'aide de ps, puis vérifiez que le fichier journal ne contient aucune erreur dans le répertoire des journaux/var/log /.

Source: https://aws.Amazon.com/premiumsupport/knowledge-center/restart-service-emr/

18
Ahmed Kamal

Si vous voulez activer l'agrégation de journaux, il est en réalité plus simple de créer le cluster avec l'agrégation de journaux déjà activée, comme décrit dans la documentation:

http://docs.aws.Amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html

(Il est effectivement activé par défaut si vous utilisez emr-4.3.0).

0
Ana