web-dev-qa-db-fra.com

java.lang.NoClassDefFoundError: org/Apache/spark/Journalisation

Je reçois toujours l'erreur suivante. Est-ce que quelqu'un peut m'aider s'il vous plaît?

Exception in thread "main" Java.lang.NoClassDefFoundError: org/Apache/spark/Logging
    at Java.lang.ClassLoader.defineClass1(Native Method)
    at Java.lang.ClassLoader.defineClass(ClassLoader.Java:763)
    at Java.security.SecureClassLoader.defineClass(SecureClassLoader.Java:142)
    at Java.net.URLClassLoader.defineClass(URLClassLoader.Java:467)
    at Java.net.URLClassLoader.access$100(URLClassLoader.Java:73)
    at Java.net.URLClassLoader$1.run(URLClassLoader.Java:368)
    at Java.net.URLClassLoader$1.run(URLClassLoader.Java:362)
    at Java.security.AccessController.doPrivileged(Native Method)
    at Java.net.URLClassLoader.findClass(URLClassLoader.Java:361)
    at Java.lang.ClassLoader.loadClass(ClassLoader.Java:424)
    at Sun.misc.Launcher$AppClassLoader.loadClass(Launcher.Java:331)
    at Java.lang.ClassLoader.loadClass(ClassLoader.Java:357)
    at com.datastax.spark.connector.japi.DStreamJavaFunctions.<init>(DStreamJavaFunctions.Java:24)
    at com.datastax.spark.connector.japi.CassandraStreamingJavaUtil.javaFunctions(CassandraStreamingJavaUtil.Java:55)
    at SparkStream.main(SparkStream.Java:51)
    at Sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at Sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.Java:62)
    at Sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.Java:43)
    at Java.lang.reflect.Method.invoke(Method.Java:498)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.Java:147)
Caused by: Java.lang.ClassNotFoundException: org.Apache.spark.Logging
    at Java.net.URLClassLoader.findClass(URLClassLoader.Java:381)
    at Java.lang.ClassLoader.loadClass(ClassLoader.Java:424)
    at Sun.misc.Launcher$AppClassLoader.loadClass(Launcher.Java:331)
    at Java.lang.ClassLoader.loadClass(ClassLoader.Java:357)
    ... 20 more

Quand je compile le code suivant. J'ai cherché sur le Web mais je n'ai pas trouvé de solution. J'ai l'erreur quand j'ai ajouté le saveToCassandra.

import com.datastax.spark.connector.japi.CassandraStreamingJavaUtil;
import org.Apache.spark.SparkConf;
import org.Apache.spark.api.Java.JavaSparkContext;
import org.Apache.spark.streaming.Duration;
import org.Apache.spark.streaming.api.Java.JavaDStream;
import org.Apache.spark.streaming.api.Java.JavaPairInputDStream;
import org.Apache.spark.streaming.api.Java.JavaStreamingContext;
import org.Apache.spark.streaming.kafka.KafkaUtils;

import Java.io.Serializable;
import Java.util.Collections;
import Java.util.HashMap;
import Java.util.Map;
import Java.util.Set;

import static com.datastax.spark.connector.japi.CassandraJavaUtil.mapToRow;

/**
 * Created by jonas on 10/10/16.
 */
public class SparkStream implements Serializable{
        public static void main(String[] args) throws Exception{
        SparkConf conf = new SparkConf(true)
                .setAppName("TwitterToCassandra")
                .setMaster("local[*]")
                .set("spark.cassandra.connection.Host", "127.0.0.1")
                .set("spark.cassandra.connection.port", "9042");
;
        JavaSparkContext sc = new JavaSparkContext(conf);
        JavaStreamingContext ssc = new JavaStreamingContext(sc, new Duration(5000));

        Map<String, String> kafkaParams = new HashMap<>();
        kafkaParams.put("bootstrap.servers", "localhost:9092");
        Set<String> topics = Collections.singleton("Test");

        JavaPairInputDStream<String, String> directKafkaStream = KafkaUtils.createDirectStream(
                ssc,
                String.class,
                String.class,
                kafka.serializer.StringDecoder.class,
                kafka.serializer.StringDecoder.class,
                kafkaParams,
                topics
        );

        JavaDStream<Tweet> createTweet = directKafkaStream.map(s -> createTweet(s._2));


        CassandraStreamingJavaUtil.javaFunctions(createTweet)
                .writerBuilder("mykeyspace", "rawtweet", mapToRow(Tweet.class))
                .saveToCassandra();

        ssc.start();
        ssc.awaitTermination();

    }


    public static Tweet createTweet(String rawKafka){
        String[] splitted = rawKafka.split("\\|");
        Tweet t = new Tweet(splitted[0], splitted[1], splitted[2], splitted[3]);
        return t;
    }
}

Mon pom est la suivante.

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.Apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.Apache.org/POM/4.0.0 http://maven.Apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.company</groupId>
    <artifactId>Sentiment</artifactId>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.Apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <repositories>
        <repository>
            <id>Twitter4j.org</id>
            <name>Twitter4j.org Repository</name>
            <url>http://Twitter4j.org/maven2</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>
    </repositories>

    <dependencies>
        <dependency>
            <groupId>org.Apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.0.1</version>
        </dependency>

        <dependency>
            <groupId>org.Apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>2.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.Apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>2.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.Apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
            <version>2.0.1</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.8</version>
        </dependency>



        <!-- https://mvnrepository.com/artifact/com.datastax.spark/spark-cassandra-connector_2.10 -->
        <dependency>
            <groupId>com.datastax.spark</groupId>
            <artifactId>spark-cassandra-connector_2.10</artifactId>
            <version>1.6.2</version>
        </dependency>

        <dependency>
            <groupId>org.Apache.kafka</groupId>
            <artifactId>kafka_2.10</artifactId>
            <version>0.9.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.Twitter4j</groupId>
            <artifactId>Twitter4j-core</artifactId>
            <version>[4.0,)</version>
        </dependency>

        <dependency>
            <groupId>org.Twitter4j</groupId>
            <artifactId>Twitter4j-stream</artifactId>
            <version>4.0.4</version>
        </dependency>

        <dependency>
            <groupId>org.Twitter4j</groupId>
            <artifactId>Twitter4j-async</artifactId>
            <version>4.0.4</version>
        </dependency>
    </dependencies>


</project>
javamavenapache-sparkcassandraspark-cassandra-connector
7
Jonas Cristens

org.Apache.spark.Logging est disponible dans Spark version 1.5.2 ou inférieure. Ce n'est pas dans la 2.0.0. Pls changer de version comme suit

    <dependency>
        <groupId>org.Apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>1.5.2</version>
    </dependency>

    <dependency>
        <groupId>org.Apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.5.2</version>
    </dependency>

    <dependency>
        <groupId>org.Apache.spark</groupId>
        <artifactId>spark-sql_2.10</artifactId>
        <version>1.5.2</version>
    </dependency>

    <dependency>
        <groupId>org.Apache.spark</groupId>
        <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
        <version>1.6.2</version>
    </dependency>
12
Chandana Kumara

L'erreur vient du fait que vous utilisez des bibliothèques Spark 2.0 avec le connecteur de Spark 1.6 (qui recherche la classe de journalisation Spark 1.6. Utilisez la version 2.0.5 du connecteur.

8
RussS

C'est à cause de l'absence de la classe org.Apache.spark.Logging depuis la version 1.5.2, comme tout le monde le dit. (Seul org.Apache.spark.internal.Logging existe dans la version ultérieure ...)

Mais il semble qu'aucune des solutions contre maven ne puisse résoudre cette dépendance, aussi j'essaie simplement d'ajouter cette classe à lib manuellement. Voici ma façon de résoudre le problème:

  1. Emballez le scala org.Apache.spark.internal.Logging dans un pot public. Ou téléchargez-le depuis https://raw.githubusercontent.com/swordsmanliu/SparkStreamingHbase/master/lib/spark-core_2.11-1.5.2.logging.jar (Merci à cet hôte.)

  2. Déplacez le fichier JAR dans le répertoire JAR de votre cluster spark. 

  3. Soumettez votre projet à nouveau, je souhaite qu'il vous aide.

2
djzhu

J'ai eu la solution en changeant la jarre mentionnée plus haut.

Au début, j'avais un bocal dégradé pour le streaming d'étincelles:

<dependency>
        <groupId>org.Apache.spark</groupId>
        <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
        <version>2.1.1</version></dependency>

J'ai également supprimé plusieurs fichiers sl4j-log4j.jars et log4j.jars que j'avais ajoutés à l'extérieur de la bibliothèque spark et kafka.

1
Narendra Maru

Téléchargez spark-core_2.11-1.5.2.logging.jar et utilisez-la en tant qu'option --jar

spark-submit --class com.SentimentTwiteer --packages "org.Apache.spark: spark-streaming-Twitter_2.11: 1.6.3" --jars /root/Desktop/spark-core_2.11-15.2.logging .jar /root/Desktop/SentimentTwiteer.jar consumerKey consommateurSecret accessToken accessTokenSecret yoursearchTag

https://github.com/sinhavicky4/SentimentTwiteer

1
Priyanshu Singh

Téléchargé le pot et utilisé --jars dans spark-submit, a travaillé pour moi Spark-submit --class com.SentimentTwiteer --packages "org.Apache.spark: spark-streaming-Twitter_2.11: 1.6.3" --jars /root/Desktop/spark-core_2.11-1.5.2.logging.jar /root/Desktop/SentimentTwiteer.jar XX XX XX XX

0
Priyanshu Singh

Téléchargez le fichier Jar ci-dessous et déposez-le dans votre bibliothèque. Tout fonctionnera comme prévu.

https://raw.githubusercontent.com/swordsmanliu/SparkStreamingHbase/master/lib/spark-core_2.11-1.5.2.logging.jar

0
Sampat Kumar

Une des raisons pouvant causer ce problème est conflit entre lib et class. J'ai rencontré ce problème et je l'ai résolu en utilisant quelques exclusions maven

<dependency>
       <groupId>org.Apache.spark</groupId>
       <artifactId>spark-core_2.11</artifactId>
       <version>2.0.0</version>
       <scope>provided</scope>
       <exclusions>
           <exclusion>
               <groupId>log4j</groupId>
               <artifactId>log4j</artifactId>
           </exclusion>
       </exclusions>
   </dependency>

   <dependency>
       <groupId>org.Apache.spark</groupId>
       <artifactId>spark-streaming_2.11</artifactId>
       <version>2.0.0</version>
       <scope>provided</scope>
   </dependency>

   <dependency>
       <groupId>org.Apache.spark</groupId>
       <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
       <version>2.0.0</version>
       <exclusions>
           <exclusion>
               <groupId>org.slf4j</groupId>
               <artifactId>slf4j-log4j12</artifactId>
           </exclusion>
           <exclusion>
               <groupId>log4j</groupId>
               <artifactId>log4j</artifactId>
           </exclusion>
       </exclusions>
   </dependency>
0
m.semnani

ce pom.xml est résoudre mon problème:

        <dependency>
            <groupId>org.Apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.6.1</version>
        </dependency>

        <dependency>
            <groupId>org.Apache.spark</groupId>
            <artifactId>spark-streaming_2.10</artifactId>
            <version>1.6.1</version>
        </dependency>
0
merlin.chan