PySpark: Comment renseigner des valeurs dans le cadre de données pour des colonnes spécifiques?
J'ai l'exemple de DataFrame suivant:
a | b | c |
1 | 2 | 4 |
0 | null | null|
null | 3 | 4 |
Et je veux remplacer les valeurs nulles uniquement dans les 2 premières colonnes - Colonne "a" et "b":
a | b | c |
1 | 2 | 4 |
0 | 0 | null|
0 | 3 | 4 |
Voici le code pour créer un exemple de cadre de données:
rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])
Je sais comment remplacer toutes les valeurs NULL en utilisant:
df2 = df2.fillna(0)
Et quand j'essaye ça, je perds la troisième colonne:
df2 = df2.select(df2.columns[0:1]).fillna(0)
df.fillna(0, subset=['a', 'b'])
Il existe un paramètre nommé subset pour choisir les colonnes sauf si votre version spark est inférieure à 1.3.1)
Utilisez un dictionnaire pour renseigner les valeurs de certaines colonnes:
df.fillna( { 'a':0, 'b':0 } )