J'ai juste essayé de faire un compte sur une fenêtre et j'ai eu cette erreur:
AnalysisException: u'Distinct window functions are not supported: count(distinct color#1926)
Existe-t-il un moyen de compter séparément sur une fenêtre dans pyspark?
Voici un exemple de code:
from pyspark.sql import functions as F
#function to calculate number of seconds from number of days
days = lambda i: i * 86400
df = spark.createDataFrame([(17, "2017-03-10T15:27:18+00:00", "orange"),
(13, "2017-03-15T12:27:18+00:00", "red"),
(25, "2017-03-18T11:27:18+00:00", "red")],
["dollars", "timestampGMT", "color"])
df = df.withColumn('timestampGMT', df.timestampGMT.cast('timestamp'))
#create window by casting timestamp to long (number of seconds)
w = (Window.orderBy(F.col("timestampGMT").cast('long')).rangeBetween(-days(7), 0))
df = df.withColumn('distinct_color_count_over_the_last_week', F.countDistinct("color").over(w))
df.show()
Voici le résultat que j'aimerais voir:
+-------+--------------------+------+---------------------------------------+
|dollars| timestampGMT| color|distinct_color_count_over_the_last_week|
+-------+--------------------+------+---------------------------------------+
| 17|2017-03-10 15:27:...|orange| 1|
| 13|2017-03-15 12:27:...| red| 2|
| 25|2017-03-18 11:27:...| red| 1|
+-------+--------------------+------+---------------------------------------+
J'ai réalisé que je pouvais utiliser une combinaison des fonctions collect_set et size pour imiter la fonctionnalité de countDistinct sur une fenêtre:
from pyspark.sql import functions as F
#function to calculate number of seconds from number of days
days = lambda i: i * 86400
#create some test data
df = spark.createDataFrame([(17, "2017-03-10T15:27:18+00:00", "orange"),
(13, "2017-03-15T12:27:18+00:00", "red"),
(25, "2017-03-18T11:27:18+00:00", "red")],
["dollars", "timestampGMT", "color"])
#convert string timestamp to timestamp type
df = df.withColumn('timestampGMT', df.timestampGMT.cast('timestamp'))
#create window by casting timestamp to long (number of seconds)
w = (Window.orderBy(F.col("timestampGMT").cast('long')).rangeBetween(-days(7), 0))
#use collect_set and size functions to perform countDistinct over a window
df = df.withColumn('distinct_color_count_over_the_last_week', F.size(F.collect_set("color").over(w)))
df.show()
Il en résulte un nombre de couleurs distinct sur la semaine précédente:
+-------+--------------------+------+---------------------------------------+
|dollars| timestampGMT| color|distinct_color_count_over_the_last_week|
+-------+--------------------+------+---------------------------------------+
| 17|2017-03-10 15:27:...|orange| 1|
| 13|2017-03-15 12:27:...| red| 2|
| 25|2017-03-18 11:27:...| red| 1|
+-------+--------------------+------+---------------------------------------+
La réponse de @Bob Swain est Nice et fonctionne! Depuis lors, Spark version 2.1 , Spark offre une fonction équivalente à countDistinct
, approx_count_distinct
, plus efficace à utiliser et, surtout, prenant en charge le comptage distinct sur une fenêtre.
Voici le code à remplacer en remplacement:
#approx_count_distinct supports a window
df = df.withColumn('distinct_color_count_over_the_last_week', F.approx_count_distinct("color").over(w))
Pour les colonnes avec de petites cardinalités, le résultat est supposé être le même que "countDistinct". Lorsque le jeu de données grossit beaucoup, vous devez envisager d’ajuster le paramètre rsd
- erreur d’estimation maximale autorisée, ce qui vous permet d’ajuster la précision/les performances du compromis.