Exception: Java.lang.Exception: lors de l'exécution avec le 'fil' maître, HADOOP_CONF_DIR ou YARN_CONF_DIR doit être défini dans l'environnement. dans spark
Je suis un nouveau Apache-spark. J'ai testé une application en spark mode autonome. Mais je veux exécuter le mode de fil d'application. J'exécute Apache-spark 2.1.0 dans windows. Voici mon code
c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar
EXCEPTION: lors de l'exécution avec le 'fil' maître, HADOOP_CONF_DIR ou YARN_CONF_DIR doit être défini dans l'environnement. In spark
donc de la recherche sur le site Web. J'ai créé un nom de dossier Hadoop_CONF_DIR et y place Hive site.xml et je l'ai indiqué comme variable d'environnement, après cela, j'ai exécuté spark-submit puis j'ai
exception de connexion refusée Je pense que je n'ai pas pu configurer correctement le mode de fil. Quelqu'un pourrait-il m'aider à résoudre ce problème? dois-je installer Hadoop et Yarn séparément? Je veux exécuter mon application en mode pseudo distribué.Aidez-moi à configurer le mode Yarn dans Windows grâce
Vous devez exporter deux variables HADOOP_CONF_DIR et YARN_CONF_DIR pour rendre votre fichier de configurations visible par le fil. Utilisez le code ci-dessous dans le fichier .bashrc si vous utilisez linux.
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
Dans les fenêtres, vous devez définir la variable d'environnement.
J'espère que cela t'aides!
Si vous utilisez spark using Yarn alors vous feriez mieux de l'ajouter à spark-env.sh:
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop