Pourquoi spark-submit et spark-Shell échouent-ils avec "Impossible de trouver le fichier JAR de Spark Assembly. Vous devez créer Spark avant de lancer ce programme."?
J'essayais de lancer spark-submit et je reçois "Échec de la recherche du fichier d'assemblage Spark Vous devez créer Spark avant d'exécuter ce programme." .
Votre package Spark n'inclut pas le code Spark compilé. C'est pourquoi vous avez reçu le message d'erreur de ces scripts spark-submit et spark-Shell.
Vous devez télécharger l’une des versions préconstruites dans la section "Choisissez un type de paquet" à partir de la page de téléchargement de Spark .
Sous Windows, j'ai constaté que l'installation échouera si l'installation est effectuée dans un répertoire comportant un espace dans le chemin d'accès (C:\Program Files\Spark). Déplacez-le vers la racine ou un autre répertoire sans espaces.
Essayez d’exécuter mvn -DskipTests clean package d’abord pour créer Spark.
Si vos fichiers binaires d'étincelle se trouvent dans un dossier où le nom du dossier contient des espaces (par exemple, "Program Files (x86)"), cela n'a pas fonctionné. Je l'ai changé en "Program_Files", puis la commande spark_Shell fonctionne dans cmd.
Juste pour ajouter à la réponse de @ jurban1997.
Si vous utilisez Windows, assurez-vous que les variables d'environnement SPARK_HOME et SCALA_HOME sont correctement configurées. SPARK_HOME doit pointer vers {SPARK_HOME}\bin\spark-Shell.cmd
Installation d'étincelles:
Pour machine à fenêtre:
Téléchargez spark-2.1.1-bin-hadoop2.7.tgz depuis ce site https://spark.Apache.org/downloads.html Unzip et collez votre dossier spark dans le lecteur C:\et définissez la variable d'environnement . Si vous n'avez pas Hadoop, vous devez créer un dossier Hadoop, créer un dossier Bin, puis copier et coller le fichier winutils.exe dans celui-ci . Téléchargez le fichier winutils à partir du site [https://codeload.github.com/gvreddy1210/64bit/Zip/master ☎] et collez le fichier winutils.exe dans le dossier Hadoop\bin et définissez la variable d'environnement. pour c:\hadoop\bin; créez un dossier temp\Hive dans le lecteur C:\et donnez tous les droits à ce dossier, comme par exemple: C:\Windows\system32> C:\hadoop\bin\winutils.exe chmod 777 /tmp/Hive open, commande Invite d'abord exécuter C:\hadoop\bin> winutils.exe, puis passe à C:\spark\bin> run spark-Shell
Si vous avez téléchargé du binaire et que vous obtenez cette exception
Ensuite, vérifiez que votre chemin Spark_home peut contenir des espaces tels que "Apache spark"/bin
Il suffit de supprimer des espaces fonctionnera.