Comment mélanger les lignes dans un Spark dataframe?

Question

J'ai une trame de données comme celle-ci:

+---+---+
|_c0|_c1|
+---+---+
|1.0|4.0|
|1.0|4.0|
|2.1|3.0|
|2.1|3.0|
|2.1|3.0|
|2.1|3.0|
|3.0|6.0|
|4.0|5.0|
|4.0|5.0|
|4.0|5.0|
+---+---+

et je voudrais mélanger toutes les lignes en utilisant Spark dans Scala.

Comment puis-je faire cela sans revenir à RDD?

Answer 1

Vous devez utiliser la méthode orderBy de la trame de données:

import org.Apache.spark.sql.functions.Rand
val shuffledDF = dataframe.orderBy(Rand())