Utilisation de Scala 2.12 avec Spark 2.x
Dans Spark 2.1 docs il est mentionné que
Spark fonctionne sous Java 7+, Python 2.6 +/3.4 + et R 3.1+. Pour l’API Scala, Spark 2.1.0 utilise Scala 2.11. Vous devrez utiliser une version compatible Scala (2.11.x).
à la Scala 2.12 release release il est également mentionné que:
Bien que Scala 2.11 et 2.12 soient principalement compatibles source pour faciliter la construction croisée, ils ne sont pas compatibles binaires. Cela nous permet de continuer à améliorer le compilateur Scala et la bibliothèque standard.
Mais quand je construis un uber jar (avec Scala 2.12) et que je l’utilise sous Spark 2.1. tout fonctionne très bien.
et je sais que ce n’est pas une source officielle, mais sur le 47 degree blog ils ont mentionné que Spark 2.1 supporte Scala 2.12.
Comment peut-on expliquer ces informations (conflits?)?
Spark ne supporte pas Scala 2.12. Vous pouvez suivre SPARK-14220 (Construire et tester Spark par rapport à Scala 2.12) pour obtenir le statut à jour.
Pour ajouter à la réponse, je pense qu’il s’agit d’une faute de frappe https://spark.Apache.org/releases/spark-release-2-0-0.html n’a aucune mention de scala 2.12.
De plus, si nous regardons les délais, Scala 2.12 n’est pas sorti avant novembre 2016 et Spark 2.0.0 est sorti en juillet 2016.
Références: https://spark.Apache.org/news/index.html
www.scala-lang.org/news/2.12.0/