web-dev-qa-db-fra.com

Lecture d'un csv avec une colonne d'horodatage, avec pandas

En faisant:

import pandas
x = pandas.read_csv('data.csv', parse_dates=True, index_col='DateTime', 
                                names=['DateTime', 'X'], header=None, sep=';')

avec ce fichier data.csv:

1449054136.83;15.31
1449054137.43;16.19
1449054138.04;19.22
1449054138.65;15.12
1449054139.25;13.12

(la 1ère colonne est un horodatage UNIX, c'est-à-dire que les secondes se sont écoulées depuis le 1/1/1970), j'obtiens cette erreur lors du rééchantillonnage des données toutes les 15 secondes avec x.resample('15S'):

TypeError: Only valid with DatetimeIndex, TimedeltaIndex or PeriodIndex

C'est comme si les informations "datetime" n'avaient pas été analysées:

                 X
DateTime      
1.449054e+09  15.31                
1.449054e+09  16.19
...

Comment importer un .CSV avec une date stockée sous forme d'horodatage avec pandas?

Puis une fois que je pourrai importer le CSV, comment accéder aux lignes pour quelle date> 2015-12-02 12:02:18?

pythoncsvpandas
22
Basj

Ma solution était similaire à celle de Mike:

import pandas
import datetime
def dateparse (time_in_secs):    
    return datetime.datetime.fromtimestamp(float(time_in_secs))

x = pandas.read_csv('data.csv',delimiter=';', parse_dates=True,date_parser=dateparse, index_col='DateTime', names=['DateTime', 'X'], header=None)

out = x.truncate(before=datetime.datetime(2015,12,2,12,2,18))
22
Budo Zindovic

Utilisation to_datetime et passez unit='s' pour analyser les unités en tant qu'horodatages Unix, ce sera beaucoup plus rapide:

In [7]:
pd.to_datetime(df.index, unit='s')

Out[7]:
DatetimeIndex(['2015-12-02 11:02:16.830000', '2015-12-02 11:02:17.430000',
               '2015-12-02 11:02:18.040000', '2015-12-02 11:02:18.650000',
               '2015-12-02 11:02:19.250000'],
              dtype='datetime64[ns]', name=0, freq=None)

Timings:

In [9]:

import time
%%timeit
import time
def date_parser(string_list):
    return [time.ctime(float(x)) for x in string_list]
​
df = pd.read_csv(io.StringIO(t), parse_dates=[0],  sep=';', 
                 date_parser=date_parser, 
                 index_col='DateTime', 
                 names=['DateTime', 'X'], header=None)
100 loops, best of 3: 4.07 ms per loop

et

In [12]:
%%timeit
t="""1449054136.83;15.31
1449054137.43;16.19
1449054138.04;19.22
1449054138.65;15.12
1449054139.25;13.12"""
df = pd.read_csv(io.StringIO(t), header=None, sep=';', index_col=[0])
df.index = pd.to_datetime(df.index, unit='s')
100 loops, best of 3: 1.69 ms per loop

Donc, en utilisant to_datetime est 2 fois plus rapide sur ce petit ensemble de données, je m'attends à ce que cela évolue bien mieux que les autres méthodes

19
EdChum

Vous pouvez analyser la date vous-même:

import time
import pandas as pd

def date_parser(string_list):
    return [time.ctime(float(x)) for x in string_list]

df = pd.read_csv('data.csv', parse_dates=[0],  sep=';', 
                 date_parser=date_parser, 
                 index_col='DateTime', 
                 names=['DateTime', 'X'], header=None)

Le résultat:

>>> df
                        X
DateTime                  
2015-12-02 12:02:16  15.31
2015-12-02 12:02:17  16.19
2015-12-02 12:02:18  19.22
2015-12-02 12:02:18  15.12
2015-12-02 12:02:19  13.12
3
Mike Müller