Lequel des nombreux noyaux Spark / Scala pour Jupyter / IPython choisir?
Il existe de nombreux noyaux Scala/Spark pour IPython/Jupyter:
- IScala
- ISpark
- Jupyter Scala
- Apache Toree (précédent Spark Kernel )
Est-ce que quelqu'un sait lequel d'entre eux est le plus compatible avec IPython/Jupyter et le plus confortable à utiliser avec:
- Scala
- Étincelle (Scala)
Je ne peux pas parler pour tous, mais j'utilise Spark Kernel et cela fonctionne très bien pour utiliser les deux Scala et Spark.
J'ai trouvé IScala et Jupyter Scala moins stable et moins poli. Jupyter Scala imprime toujours chaque valeur de variable après avoir exécuté une cellule; je ne veux pas voir 99% du temps.
Spark Kernel est mon préféré. Tant pour Spark que pour Scala ancien).
Spark Kernel a été accepté dans Apache Incubator et a déplacé tout le développement vers Apache Toree .
J'utilise spark-kernel (votre option n ° 4) et je suis assez satisfait.
Vous pouvez trouver une installation pratique Nice (CDH 5.5 sur CentOS 7) ici (je l'ai utilisé moi-même pour l'installer dans un nœud unique en mode pseudo-distribué).