J'essaie de filtrer un DataFrame en ne gardant que les lignes qui ont une certaine colonne de chaîne non vide.L'opération est la suivante:<pre><code>df.filter($"stringColumn" !== "") </code></pre>Mon compilateur montre que le! == est déconseillé depuis que je suis passé à Spark 2.0.1Comment puis-je vérifier si une valeur de colonne de chaîne est vide dans Spark> 2.0?

Utilisation <code>=!=</code> en remplacement:<pre><code>df.filter($"stringColumn" =!= "") </code></pre>

Spark 2.0, DataFrame, filtre une colonne de chaîne, l'opérateur inégal (! ==) est déconseillé

J'essaie de filtrer un DataFrame en ne gardant que les lignes qui ont une certaine colonne de chaîne non vide.

L'opération est la suivante:

df.filter($"stringColumn" !== "")

Mon compilateur montre que le! == est déconseillé depuis que je suis passé à Spark 2.0.1

Comment puis-je vérifier si une valeur de colonne de chaîne est vide dans Spark> 2.0?

20 oct. 2016Rami

Utilisation =!= en remplacement:

df.filter($"stringColumn" =!= "")

20 oct. 2016user6022341