web-dev-qa-db-fra.com

Filtre Spark DataFrame en vérifiant si la valeur est dans une liste, avec d'autres critères

Comme exemple simplifié, j'ai essayé de filtrer un Spark DataFrame avec le code suivant:

val xdf = sqlContext.createDataFrame(Seq(
  ("A", 1), ("B", 2), ("C", 3)
)).toDF("name", "cnt")
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show()

Ensuite, il se trompe:

org.Apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).;

Quelle est la bonne façon de procéder? Il me semble qu'il arrête de lire après la colonne name. Est-ce un bug dans l'analyseur? J'utilise Spark 1.5.1

21
Bamqf

Vous devez mettre entre parenthèses des expressions individuelles:

xdf.filter(($"cnt" > 1) || ($"name" isin ("A","B"))).show()
29
zero323

En espérant que cela vous aidera:

val list = List("x","y","t") 
xdf.filter($"column".isin(list:_*))
36
pschilakanti