web-dev-qa-db-fra.com

Spark - Grouper par HAVING avec la syntaxe du dataframe?

Quelle est la syntaxe pour utiliser un groupby-having dans Spark sans sql/hiveContext? Je sais que je peux le faire

DataFrame df = some_df
df.registreTempTable("df");    
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")

mais comment le faire avec une syntaxe comme

df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")

Cette .having() ne semble pas exister.

javasqlapache-sparkdataframeapache-spark-sql
18
lte__

Oui, ça n'existe pas. Vous exprimez la même logique avec agg suivi de where:

df.groupBy(someExpr).agg(somAgg).where(somePredicate)
27
zero323

Dites par exemple si je veux trouver des produits dans chaque catégorie, ayant des frais inférieurs à 3200 et leur nombre ne doit pas être inférieur à 10:

  • Requête SQL:
sqlContext.sql("select Category,count(*) as 
count from hadoopexam where HadoopExamFee<3200  
group by Category having count>10")
  • API DataFrames
from pyspark.sql.functions import *

df.filter(df.HadoopExamFee<3200)
  .groupBy('Category')
  .agg(count('Category').alias('count'))
  .filter(column('count')>10)
4
Sri_Karthik