web-dev-qa-db-fra.com

Exception dans le thread "principal" Java.lang.NoSuchMethodError: scala.Product. $ Init $ (Lscala / Product;)

Une raison pour laquelle j'obtiens cette erreur? Initialement, le plugin IDE pour Scala était 2.12.3. Mais puisque je travaille avec Spark 2.2.0, Je l'ai changé manuellement en Scala 2.11.11.

Using Spark's default log4j profile: org/Apache/spark/log4j-defaults.properties
17/09/19 12:08:19 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable
Exception in thread "main" Java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
    at scala.xml.Null$.<init>(Null.scala:23)
    at scala.xml.Null$.<clinit>(Null.scala)
    at org.Apache.spark.ui.jobs.AllJobsPage.<init>(AllJobsPage.scala:39)
    at org.Apache.spark.ui.jobs.JobsTab.<init>(JobsTab.scala:38)
    at org.Apache.spark.ui.SparkUI.initialize(SparkUI.scala:67)
    at org.Apache.spark.ui.SparkUI.<init>(SparkUI.scala:84)
    at org.Apache.spark.ui.SparkUI$.create(SparkUI.scala:221)
    at org.Apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:163)
    at org.Apache.spark.SparkContext.<init>(SparkContext.scala:452)
    at sparkEnvironment$.<init>(Ticket.scala:33)
    at sparkEnvironment$.<clinit>(Ticket.scala)
    at Ticket$.main(Ticket.scala:39)
    at Ticket.main(Ticket.scala)
scalaapache-sparkintellij-ideasbt
7
TheShark

Assurez-vous que Spark est compatible avec la version Scala version correspondante)

L'erreur est courante lors de l'utilisation de Scala version 2.12 série avec n'importe quelle version de Spark offrant Scala 2.11.

Vous pouvez essayer d'utiliser le 2.11 série de Scala avec Spark. i.e.

libraryDependencies += "org.Apache.spark" % "spark-core_2.11" % "2.2.0" comme vous pouvez le voir dans cette dépendance spark-core_2.11 est associé à scala version 2.11.

Ou vous pouvez utiliser cette dépendance libraryDependencies += "org.Apache.spark" %% "spark-core" % "2.2.0" il déduira automatiquement la version scala

J'espère que c'est clair

Merci

16
Akash Sethi