web-dev-qa-db-fra.com

Spark2.2.1 incompatible version Jackson 2.8.8

Ma configuration est:

  • Scala 2.11 (plugin Scala IDE)
  • Eclipse Neon.3 Release (4.6.3)
  • Windows 7 64bit

Je veux exécuter ce code scala simple (Esempio.scala):

package it.scala

// importo packages di Spark
import org.Apache.spark.SparkContext
import org.Apache.spark.SparkConf


object Wordcount {
    def main(args: Array[String]) {

        val inputs: Array[String] = new Array[String](2)
        inputs(0) = "C:\\Users\\FobiDell\\Desktop\\input"
        inputs(1) = "C:\\Users\\FobiDell\\Desktop\\output"

        // oggetto SparkConf per settare i parametri sulla propria applicazione 
        // da fornire poi al cluster manager scelto (Yarn, Mesos o Standalone).
        val conf = new SparkConf()
        conf.setAppName("Smartphone Addiction")
        conf.setMaster("local")

        // oggetto SparkContext per connessione al cluster manager scelto
        val sc = new SparkContext(conf)

        //Read file and create RDD
        val rawData = sc.textFile(inputs(0))

        //convert the lines into words using flatMap operation
        val words = rawData.flatMap(line => line.split(" "))

        //count the individual words using map and reduceByKey operation
        val wordCount = words.map(Word => (Word, 1)).reduceByKey(_ + _)

        //Save the result
        wordCount.saveAsTextFile(inputs(1))

       //stop the spark context
       sc.stop

   }

}

Donc, si j'utilise Spark-Shell, tout est ok sinon, depuis Eclipse IDE, si je sélectionne le fichier (Esempio.scala) et que je l'exécute via l'application Run-> Run as-> Scala, j'obtiens cette exception

Exception in thread "main" Java.lang.ExceptionInInitializerError
    at org.Apache.spark.SparkContext.withScope(SparkContext.scala:701)
    at org.Apache.spark.SparkContext.textFile(SparkContext.scala:830)
    at it.scala.Wordcount$.main(Esempio.scala:47)
    at it.scala.Wordcount.main(Esempio.scala)
Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.8.8
    at com.fasterxml.jackson.module.scala.JacksonModule$class.setupModule(JacksonModule.scala:64)
    at com.fasterxml.jackson.module.scala.DefaultScalaModule.setupModule(DefaultScalaModule.scala:19)
    at com.fasterxml.jackson.databind.ObjectMapper.registerModule(ObjectMapper.Java:745)
    at org.Apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
    at org.Apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
    ... 4 more

Mon fichier pom.xml est:

<project xmlns="http://maven.Apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.Apache.org/POM/4.0.0 http://maven.Apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>it.hgfhgf.xhgfghf</groupId>
  <artifactId>progetto</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>progetto</name>
  <url>http://maven.Apache.org</url>

  <properties>
     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <!-- Neo4j JDBC DRIVER -->
    <dependency>
      <groupId>org.neo4j</groupId>
      <artifactId>neo4j-jdbc-driver</artifactId>
      <version>3.1.0</version>
    </dependency>

    <!-- Scala -->
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>2.11.11</version>
    </dependency> 

    <!-- Spark -->
    <dependency>
      <groupId>org.Apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.2.1</version>
    </dependency>


  </dependencies>


</project>

J'ai remarqué que les fichiers .jar contenus dans le répertoire spark-2.2.1-bin-hadoop2.7/jars sont les suivants: 

  • jackson-core-2.6.5.jar
  • jackson-databind-2.6.5.jar
  • jackson-module-paranamer-2.6.5.jar
  • jackson-module-scala_2.11-2.6.5.jar
  • jackson-annotations-2.6.5.jar

Quelqu'un peut-il m'expliquer en termes simples en quoi consiste cette exception et comment peut-elle être résolue?

javaeclipsescalamavenapache-spark
6
Fobi

Spark 2.x contient les jackson 2.6.5 et neo4j-jdbc-driver utilise la version jackson 2.8.8, ici le conflit de dépendances entre deux versions différentes de la bibliothèque jackson . C'est pourquoi vous obtenez cette erreur Incompatible Jackson version: 2.8.8.

Essayez de remplacer la version de dépendance pour ces modules [ci-dessous] dans votre pom.xml et voir si ça marche,

  1. jackson-core
  2. jackson-databind
  3. jackson-module-scala_2.x

ou essayez d'ajouter la dépendance ci-dessous dans votre pom.xml 

        <dependency>
            <groupId>com.fasterxml.jackson.module</groupId>
            <artifactId>jackson-module-scala_2.11</artifactId>
            <version>2.8.8</version>
        </dependency>
8
subodh

J'ai rencontré le même conflit de version que Jackson. En plus de remplacer jackson-core, jackson-databind, jackson-module-scala_2.x, j’ai également défini jackson-annotations dans mon pom.xml, ce qui a résolu le conflit. 

1
Lorenz Bernauer