web-dev-qa-db-fra.com

Impossible de démarrer le maître pour Spark sous Windows

Même problème que Échec de démarrage de maître pour spark dans Windows 10 qui n'est également pas résolu.

Mon étincelle fonctionne bien en testant pyspark.cmd et spark-Shell.cmd

Après avoir exécuté .\sbin\start-master.sh j'ai eu:

ps: unknown option -- o
Try 'ps --help' for more information.
starting org.Apache.spark.deploy.master.Master, logging to C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.Apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out
ps: unknown option -- o
Try 'ps --help' for more information.
failed to launch org.Apache.spark.deploy.master.Master:
  ========================================
  Picked up _Java_OPTIONS: -Xmx512M -Xms512M
full log in C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.Apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out

J'ai essayé de visiter l'interface Web, alors que le localhost: 4040 fonctionne le localhost: 8080 ne peut pas être atteint.

Et j’ai trouvé le fichier .log créé dans le dossier% SPARK_HOME%/logs. Ils contiennent le même contenu: 

Commande Spark: 

C:\Program Files\Java\jdk1.7.0_79\bin\Java -cp C:\spark-1.6.1-bin-hadoop2.6/conf\;C:\spark-1.6.1-bin-hadoop2.6/lib/spark-Assembly-1.6.1-hadoop2.6.0.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-api-jdo-3.2.6.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-core-3.2.10.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize=256m org.Apache.spark.deploy.master.Master --ip hahaha-PC --port 7077 --webui-port 8080

========================================
Picked up _Java_OPTIONS: -Xmx512M -Xms512M

Environnement de travail: Spark: 1.6.1 Windows 10

Dans l'attente de votre réponse et merci pour votre temps tellement!

apache-sparkwindows-10
10
Spider

Je viens de trouver la réponse ici: https://spark.Apache.org/docs/1.2.0/spark-standalone.html

"Remarque: les scripts de lancement ne prennent actuellement pas en charge Windows. Pour exécuter un cluster Spark sous Windows, démarrez manuellement le maître et les travailleurs."

5
Spider

Les scripts de lancement situés à %SPARK_HOME%\sbin ne prennent pas en charge Windows. Vous devez exécuter manuellement le maître et l’ouvrier comme indiqué ci-dessous.

  1. Aller au dossier %SPARK_HOME%\bin dans une invite de commande

  2. Exécutez spark-class org.Apache.spark.deploy.master.Master pour exécuter le maître. Cela vous donnera une URL de la forme spark://ip:port

  3. Exécutez spark-class org.Apache.spark.deploy.worker.Worker spark://ip:port pour exécuter le travailleur. Assurez-vous d'utiliser l'URL obtenue à l'étape 2.

  4. Exécutez spark-Shell --master spark://ip:port pour connecter une application au cluster nouvellement créé.

42
Abhishek Chaurasia

Si vous souhaitez démarrer le maître ouvrier et les esclaves, cela devrait fonctionner pour vous. ça marche pour moi

  1. Pour lancer la commande windows open worker de l'ouvrier maître sur le répertoire spark/bin, copiez et collez cette commande et appuyez sur Entrée.
classe spark org.Apache.spark.deploy.master.Master

Vous devrez pointer votre navigateur sur http: // localhost: 8080/ . Si vous recevez un message d'erreur "serveur introuvable", actualisez la page. De cette page, vous obtiendrez votre URL unique. ressemble à ceci URL: spark: //192.xxx.xx.xxx: 7077

  1. ouvrez un nouveau terminal et allez dans% SPARK_HOME%/bin, copiez et collez cette ligne de code et appuyez sur Entrée.
classe d'org. org.Apache.spark.deploy.worker.Worker spark: // ip: port

Cette partie 

spark: // ip: port
est l'URL obtenue à l'étape 1. Actualisez l'onglet de navigateur ouvert à l'étape 1 pour voir si l'agent a été démarré.

REMARQUE: JDK 1.9 n'est pas pris en charge. 

4
Kaimenyi

Après avoir exécuté la classe spark org.Apache.spark.deploy.master.Master, allez simplement http: // localhost: 8080 pour obtenir ip: port. Et ouvrez une autre commande Shell pour exécuter la classe d'étincelles org.Apache.spark.deploy.worker.Worker spark: // IP: PORT

1
Ashish Garg

une petite astuce devrait aider. J'ai changé le chemin Java_HOME en version DOS: c:\Progra ~ 1\Java\jre1.8.0_131 par exemple, puis redémarré. Après cela, j'ai pu exécuter spark-class org.Apache ... commande mentionnée ci-dessus.

0
yImI