Quand appliquer (pd.to_numeric) et quand astyper (np.float64) en python?
J'ai un objet pandas DataFrame nommé xiv qui contient une colonne de int64 Mesures de volume.
In[]: xiv['Volume'].head(5)
Out[]:
0 252000
1 484000
2 62000
3 168000
4 232000
Name: Volume, dtype: int64
J'ai lu d'autres articles (comme this et this ) qui suggèrent les solutions suivantes. Mais lorsque j'utilise l'une ou l'autre approche, cela ne semble pas changer le dtype des données sous-jacentes:
In[]: xiv['Volume'] = pd.to_numeric(xiv['Volume'])
In[]: xiv['Volume'].dtypes
Out[]:
dtype('int64')
Ou...
In[]: xiv['Volume'] = pd.to_numeric(xiv['Volume'])
Out[]: ###omitted for brevity###
In[]: xiv['Volume'].dtypes
Out[]:
dtype('int64')
In[]: xiv['Volume'] = xiv['Volume'].apply(pd.to_numeric)
In[]: xiv['Volume'].dtypes
Out[]:
dtype('int64')
J'ai également essayé de créer un pandas Series séparé] et d'utiliser les méthodes énumérées ci-dessus pour cette série et de réaffecter à l'obect x['Volume'], Qui est un pandas.core.series.Series Objet.
J'ai cependant trouvé une solution à ce problème en utilisant le type float64 Du package numpy - cela fonctionne mais je ne sais pas pourquoi. c'est différent.
In[]: xiv['Volume'] = xiv['Volume'].astype(np.float64)
In[]: xiv['Volume'].dtypes
Out[]:
dtype('float64')
Quelqu'un peut-il expliquer comment accomplir avec la bibliothèque pandas ce que la bibliothèque numpy semble faire facilement avec sa classe float64; c'est-à-dire, convertissez la colonne du xiv DataFrame en un float64 à la place.
Si vous avez déjà des types numériques (int8|16|32|64, float64, boolean) vous pouvez le convertir en un autre type "numérique" en utilisant Pandas . astype () = méthode.
Démo:
In [90]: df = pd.DataFrame(np.random.randint(10**5,10**7,(5,3)),columns=list('abc'), dtype=np.int64)
In [91]: df
Out[91]:
a b c
0 9059440 9590567 2076918
1 5861102 4566089 1947323
2 6636568 162770 2487991
3 6794572 5236903 5628779
4 470121 4044395 4546794
In [92]: df.dtypes
Out[92]:
a int64
b int64
c int64
dtype: object
In [93]: df['a'] = df['a'].astype(float)
In [94]: df.dtypes
Out[94]:
a float64
b int64
c int64
dtype: object
Cela ne fonctionnera pas pour object (chaîne) dtypes, cela ne peut pas être converti en nombres:
In [95]: df.loc[1, 'b'] = 'XXXXXX'
In [96]: df
Out[96]:
a b c
0 9059440.0 9590567 2076918
1 5861102.0 XXXXXX 1947323
2 6636568.0 162770 2487991
3 6794572.0 5236903 5628779
4 470121.0 4044395 4546794
In [97]: df.dtypes
Out[97]:
a float64
b object
c int64
dtype: object
In [98]: df['b'].astype(float)
...
skipped
...
ValueError: could not convert string to float: 'XXXXXX'
Nous voulons donc utiliser la méthode pd.to_numeric () :
In [99]: df['b'] = pd.to_numeric(df['b'], errors='coerce')
In [100]: df
Out[100]:
a b c
0 9059440.0 9590567.0 2076918
1 5861102.0 NaN 1947323
2 6636568.0 162770.0 2487991
3 6794572.0 5236903.0 5628779
4 470121.0 4044395.0 4546794
In [101]: df.dtypes
Out[101]:
a float64
b float64
c int64
dtype: object
Je n'ai pas d'explication technique pour cela, mais j'ai remarqué que pd.to_numeric () soulève l'erreur suivante lors de la conversion de la chaîne 'nan':
In [10]: df = pd.DataFrame({'value': 'nan'}, index=[0])
In [11]: pd.to_numeric(df.value)
Traceback (most recent call last):
File "<ipython-input-11-98729d13e45c>", line 1, in <module>
pd.to_numeric(df.value)
File "C:\Users\joshua.lee\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\tools\numeric.py", line 133, in to_numeric
coerce_numeric=coerce_numeric)
File "pandas/_libs/src\inference.pyx", line 1185, in pandas._libs.lib.maybe_convert_numeric
ValueError: Unable to parse string "nan" at position 0
alors que astype (float) ne:
df.value.astype(float)
Out[12]:
0 NaN
Name: value, dtype: float64
Vous pouvez utiliser ceci:
pd.to_numeric(df.valueerrors='coerce').fillna(0, downcast='infer')
Il utilisera zéro à la place de nan.