web-dev-qa-db-fra.com

pandas concat génère des valeurs nan

Je suis curieux de savoir pourquoi une simple concaténation de deux bases de données dans des pandas:

shape: (66441, 1)
dtypes: prediction    int64
dtype: object
isnull().sum(): prediction    0
dtype: int64

shape: (66441, 1)
CUSTOMER_ID    int64
dtype: object
isnull().sum() CUSTOMER_ID    0
dtype: int64

de même forme et les deux sans valeurs de NaN

foo = pd.concat([initId, ypred], join='outer', axis=1)
print(foo.shape)
print(foo.isnull().sum())

peut entraîner beaucoup de valeurs NaN si elles sont jointes.

(83384, 2)
CUSTOMER_ID    16943
prediction     16943

Comment résoudre ce problème et empêcher l’introduction des valeurs NaN?

Essayer de le reproduire comme

aaa  = pd.DataFrame([0,1,0,1,0,0], columns=['prediction'])
print(aaa)
bbb  = pd.DataFrame([0,0,1,0,1,1], columns=['groundTruth'])
print(bbb)
pd.concat([aaa, bbb], axis=1)

échoué, par exemple a bien fonctionné, aucune valeur de NaN n’ayant été introduite.

pythonpandasdataframeconcatenationnan
29
Georg Heiler

Je pense qu’il ya un problème avec différentes valeurs d’index, alors où concat ne peut pas aligner obtenir NaN:

aaa  = pd.DataFrame([0,1,0,1,0,0], columns=['prediction'], index=[4,5,8,7,10,12])
print(aaa)
    prediction
4            0
5            1
8            0
7            1
10           0
12           0

bbb  = pd.DataFrame([0,0,1,0,1,1], columns=['groundTruth'])
print(bbb)
   groundTruth
0            0
1            0
2            1
3            0
4            1
5            1

print (pd.concat([aaa, bbb], axis=1))
    prediction  groundTruth
0          NaN          0.0
1          NaN          0.0
2          NaN          1.0
3          NaN          0.0
4          0.0          1.0
5          1.0          1.0
7          1.0          NaN
8          0.0          NaN
10         0.0          NaN
12         0.0          NaN

La solution est reset_index si les valeurs d'index ne sont pas nécessaires:

aaa.reset_index(drop=True, inplace=True)
bbb.reset_index(drop=True, inplace=True)

print(aaa)
   prediction
0           0
1           1
2           0
3           1
4           0
5           0

print(bbb)
   groundTruth
0            0
1            0
2            1
3            0
4            1
5            1

print (pd.concat([aaa, bbb], axis=1))
   prediction  groundTruth
0           0            0
1           1            0
2           0            1
3           1            0
4           0            1
5           0            1
36
jezrael