J'ai eu l'erreur suivante lors de l'exécution d'un programme spark hello world.
[info] Mise à jour {file:/C:/Utilisateurs/utilisateur1/IdeaProjects/sqlServer /} sqlserver ... [info] Résolution de org.Apache.spark # spark-core_2.12; 2.1.1 ... [Avertir] module non trouvé: org.Apache.spark # spark-core_2.12; 2.1.1 [Avertir] ==== local: essayé [avertir] C:\Utilisateurs\utilisateur1\.ivy2\local\org.Apache.spark\spark-core_2.12\2.1.1\ivys\ivy.xml [avertir] === = public: essayé [avertir] https://repo1.maven.org/maven2/org/Apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1. pom [avertir] ==== ivoire-préchargé: essayé [avertir] C:\Utilisateurs\utilisateur1\.sbt\préchargé\org.Apache.spark\spark-core_2. 12\2.1.1\ivys\ivy.xml [Avertir] ==== préchargé localement: essayé [Avertir] fichier:/C: /Users/user1/.sbt/preloaded /org/Apache/spark/spark-core_2.12/2.1.1/spark-core_2.12-2.1.1.pom[.____.unset-info] Résolution de jline # jline; 2.14.3 ... [prévenir] ::::::::::::::::::::::::::::::::::::::::::::: : [avertir] :: DEPENDANCES NON RESOLUES :: [avertir] :::::::::::::::: ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: ; 2.1.1: non trouvé [Avertir] ::::::::::::::::::::::::::::::::: :::::::::::: [avertir] [avertir] Remarque: chemin des dépendances non résolues: [avertir] org.Apache.spark: spark-core_2 .12: 2.1.1 (C:\Utilisateurs\utilisateur1\IdeaProjects\sqlServer\build.sbt # L7-8) [Avertir] + - mpa: mpa_2.12: 1.0 [Trace ] Trace de pile supprimée: dernière exécution *: mise à jour pour la sortie complète. [Erreur] (*: mise à jour) sbt.ResolveException: dépendance non résolue: org.Apache.spark # spark-core_2.12; 2.1.1 : non trouvé [erreur] Temps total: 1 s, terminé le 9 mai 2017 11:05:44
Voici le build.sbt ,
name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" %% "spark-core" % "2.1.1"
Mon message Webcome Spark.
Bienvenue à ____ __ /__/__ ___ _____//__ _\\/_ \/_ `/ __/'_ /. ____.]/___/.__/\ _, _/_// _/\ _\version 2.1.1 /_/[.____.unset.____.].Utilisant Scala version 2.11.8 (Ordinateur virtuel Java HotSpot (TM) 64 bits, Java 1.8.0_111) Saisissez des expressions pour les évaluer. Tapez: help pour plus d'informations.
Mettre à jour:
J'ai changé le built.sbt
en
name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" %% "spark-core_2.11" % "2.1.0"
Mais j'ai toujours
[info] Mise à jour {fichier:/C:/Utilisateurs/utilisateur1/IdeaProjects/sqlServer /} sqlserver ... [info] Résolution de org.Apache.spark # spark-core_2.11_2. 11; 2.1.0 ... [Avertir] module non trouvé: org.Apache.spark # spark-core_2.11_2.11; 2.1.0 [Avertir] ==== local : essayé [avertir] C:\Utilisateurs\utilisateur1\.ivy2\local\org.Apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml [avertir] ==== public: essayé [avertir] https://repo1.maven.org/maven2/org/Apache/spark/spark-core_2.11_2.11/2.1.0/spark- core_2.11_2.11-2.1.0.pom [avertir] ==== ivoire-préchargée: essayé [avertir] C:\Utilisateurs\utilisateur1\.sbt\préchargé\org.Apache.spark\spark-core_2.11_2.11\2.1.0\ivys\ivy.xml [avertir] ==== préchargé localement: essayé [avertir] fichier: /C:/Users/user1/.sbt/preloaded/org/Apache/spark/spark-core_2.11_2.11/2.1.0/spark-core_2.11_2.11-2.1.0.pom [ info] Résoudre jline # jline; 2.12.1 ... [avertir] :::::::::::::::::::::::::::::: ::::::::::::::::: [avertir] :: DEPENDANCES NON RESOLUES :: [prévenir] :::::::::::::::::::::::::::::::::::::::: :::::: [avertir] :: org.Apache.spark # spark-core_2.11_2.11; 2.1.0: non trouvé [avertir] :::::: :::::::::::::::::::::::::::::::::::::::: [prévenir] [avertir] Remarque: chemin des dépendances non résolues: [avertir] org.Apache.spark: spark-core_2.11_2.11: 2.1.0 (C:\Utilisateurs\utilisateur1\IdeaProjects\sqlServer\build .sbt # L7-8) [avertir] + - mpa: mpa_2.11: 1.0 [trace] Trace de pile supprimée: exécutée en dernier *: mise à jour pour la sortie complète. [erreur] (*: mise à jour) sbt.ResolveException: dépendance non résolue: org.Apache.spark # spark-core_2.11_2.11; 2.1.0: introuvable [erreur] Durée totale: 1 s, complété le 9 mai 2017 13:01:01
Vous avez une erreur dans le fichier built.sbt, vous devez remplacer %%
par %
:
name := "Mpa"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.Apache.spark" % "spark-core" % "2.1.1"
%%
demande à Sbt d'ajouter la version actuelle de scala à l'artefact
Vous pouvez spark-core_2.11
avec %
pour résoudre le problème.
// https://mvnrepository.com/artifact/org.Apache.spark/spark-core_2.11
libraryDependencies += "org.Apache.spark" % "spark-core_2.11" % "2.1.0"
J'espère que cela t'aides!
J'ai eu la même erreur.
build.sbt
name := "Simple Project"
version := "1.0"
scalaVersion := "2.12.3"
libraryDependencies += "org.Apache.spark" %% "spark-sql" % "2.2.0"
il suffit de changer scalaVersion à 2.11.8 ou moins. Et il fonctionne.
J'ai eu la même erreur et résolu par étapes ci-dessous. Fondamentalement, le nom de fichier ne correspond pas à la configuration sbt.
- Vérifiez le nom du fichier JAR du noyau d’étincelle dans $ SPARK_HOME/jars (il s’agit du fichier spark-core _ 2.11 - 2.1.1.jar).
- Installez scala 2.11 . 11.
- Éditez build.sbt en scalaVersion: = " 2.11 . 11" .
Cela a fonctionné pour moi. Exemple de build.sbt
name := "testproj"
version := "0.1"
scalaVersion := "2.11.9"
libraryDependencies += "org.Apache.spark" %% "spark-sql" % "2.2.0"