web-dev-qa-db-fra.com

ERREUR SparkContext: Erreur lors de l'initialisation de SparkContext. Java.net.BindException: impossible d'affecter l'adresse demandée: le service 'sparkDriver' a échoué

J'ai installé ci-dessous le programme d'installation avec la version: Hadoop version 1.0.3 Version Java "1.7.0_67" Scala version 2.11.7 Spark version 2.1.1.

obtenir ci-dessous erreur, quelqu'un peut-il m'aider cela.

root@sparkmaster:/home/user# spark-Shell
Using Spark's default log4j profile: org/Apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/07/05 01:07:35 WARN SparkContext: Support for Java 7 is deprecated as of Spark 2.0.0
17/07/05 01:07:36 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
17/07/05 01:07:37 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.

17/07/05 01:07:37 ERROR SparkContext: Error initializing SparkContext.
Java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 16 retries (starting from 0)! Consider explicitly setting the appropriate port for the service 'sparkDriver' (for example spark.ui.port for SparkUI) to an available port or increasing 


<console>:14: error: not found: value spark
       import spark.implicits._

<console>:14: error: not found: value spark
       import spark.sql


Using Scala version 2.11.8 (Java HotSpot(TM) Client VM, Java 1.7.0_67)
Type in expressions to have them evaluated.
Type :help for more information.

scala>
scalaapache-spark
6
Pankaj Kumar

Il y a quelques solutions différentes

  1. Obtenez votre nom d'hôte 

    $ hostname

    puis essayez d'attribuer votre nom d'hôte

    $ Sudo hostname -s 127.0.0.1

    Démarrer spark-Shell.

  2. Ajoutez votre nom d'hôte à votre fichier/etc/hosts (s'il n'est pas présent)

    127.0.0.1      your_hostname

  3. Ajouter une variable env

    export SPARK_LOCAL_IP="127.0.0.1" 

load-spark-env.sh

  4. Les étapes ci-dessus ont résolu mon problème, mais vous pouvez également essayer d'ajouter

    export SPARK_LOCAL_IP=127.0.0.1

    sous le commentaire de l'adresse IP locale dans le fichier modèle spark-env.sh.template (/usr/local/Cellar/Apache-spark/2.1.0/libexec/conf/)

    et alors 

    cp spark-env.sh.template spark-env.sh
spark-Shell

  5. Si aucune des solutions ci-dessus ne résout, vérifiez votre pare-feu et activez-le, s'il n'est pas déjà activé 

20
hi-zir

Ajouter SPARK_LOCAL_IP dans load-spark-env.sh en tant que 

export SPARK_LOCAL_IP="127.0.0.1"

Le fichier load-spark-env.sh se trouve dans le répertoire spark/bin

Ou vous pouvez ajouter votre fichier hostname in /etc/hosts en tant que 

127.0.0.1   hostname

Vous pouvez obtenir votre hostname en tapant hostname dans terminal 

J'espère que cela résout le problème!

8
Shankar Koirala

  • Avait le même problème dans mon IntelliJ

    Raison: j'étais sur Cisco anyconnect VPN

    Correction: déconnecté du VPN, ce problème n'apparaissait pas

1
sonu1986
  1. dans votre terminal en tapant hostname, vous pouvez consulter votre nom d’hôte actuel.
  2. vim /etc/hosts et définissez le nom d'hôte que vous obtenez tout à l'heure sur votre adresse IP exacte ou sur 127.0.0.1. 
0
linxx