web-dev-qa-db-fra.com

Pandas Python Filtrage hors d'une sélection de données d'une colonne de chaînes

Sans utiliser groupby, comment puis-je filtrer les données sans NaN?

Supposons que je dispose d’une matrice dans laquelle les clients inscrivent «N/A», «N/A» ou l’une de ses variantes, et d’autres non renseignés:

import pandas as pd
import numpy as np


df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

sortie:

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

Comment filtrer les valeurs NaN afin d'obtenir des résultats comme ceux-ci:

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

Je suppose que j'ai besoin de quelque chose comme ~np.isnan mais le tilda ne fonctionne pas avec des chaînes.

pythonpandasdataframe
103
ccsv

Il suffit de les laisser tomber:

nms.dropna(thresh=2)

cela supprimera toutes les lignes où il y a au moins deux variables non -NaN

alors vous pourriez alors laisser tomber où name est NaN:

In [87]:

nms
Out[87]:
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

[5 rows x 3 columns]
In [89]:

nms = nms.dropna(thresh=2)
In [90]:

nms[nms.name.notnull()]
Out[90]:
  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

[2 rows x 3 columns]

MODIFIER

En fait, si vous cherchez ce que vous voulez à l'origine, vous pouvez le faire sans l'appel dropna:

nms[nms.name.notnull()]

METTRE À JOUR

En regardant cette question 3 ans plus tard, il y a une erreur, premièrement thresh arg cherche les valeurs n non -NaN de sorte que le résultat devrait être:

In [4]:
nms.dropna(thresh=2)

Out[4]:
  movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

Il est possible que je me sois trompé il y a 3 ans ou que la version de pandas que je exécutais contienne un bogue, ces deux scénarios étant tout à fait possibles.

150
EdChum

La solution la plus simple: 

filtered_df = df[df['name'].notnull()]

Ainsi, il filtre uniquement les lignes qui n'ont pas de valeurs NaN dans la colonne 'name'.

105
Gil Baggio
df.dropna(subset=['columnName1', 'columnName2'])
3
JacoSolari
df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})

for col in df.columns:
    df = df[~pd.isnull(df[col])]
1
Bashar Mohammad