web-dev-qa-db-fra.com

Comment obtenir la fonction de distribution cumulative avec NumPy?

Je veux créer un CDF avec NumPy, mon code est le suivant:

histo = np.zeros(4096, dtype = np.int32)
for x in range(0, width):
   for y in range(0, height):
      histo[data[x][y]] += 1
      q = 0 
   cdf = list()
   for i in histo:
      q = q + i
      cdf.append(q)

Je marche par le tableau mais prends longtemps l'exécution du programme. Il y a une fonction intégrée avec cette fonctionnalité, n'est-ce pas?

pythonnumpyhistogram
26
omar

Je ne sais pas vraiment ce que fait votre code, mais si vous avez hist et bin_edges tableaux renvoyés par numpy.histogram vous pouvez utiliser numpy.cumsum pour générer une somme cumulée du contenu de l'histogramme.

>>> import numpy as np
>>> hist, bin_edges = np.histogram(np.random.randint(0,10,100), normed=True)
>>> bin_edges
array([ 0. ,  0.9,  1.8,  2.7,  3.6,  4.5,  5.4,  6.3,  7.2,  8.1,  9. ])
>>> hist
array([ 0.14444444,  0.11111111,  0.11111111,  0.1       ,  0.1       ,
        0.14444444,  0.14444444,  0.08888889,  0.03333333,  0.13333333])
>>> np.cumsum(hist)
array([ 0.14444444,  0.25555556,  0.36666667,  0.46666667,  0.56666667,
        0.71111111,  0.85555556,  0.94444444,  0.97777778,  1.11111111])
17
user545424

L'utilisation d'un histogramme est une solution, mais cela implique de regrouper les données. Cela n'est pas nécessaire pour tracer un CDF de données empiriques. Soit F(x) le nombre d'entrées inférieures à x puis il monte d'une unité, exactement là où nous voyons une mesure. Ainsi, si nous trions nos échantillons, à chaque point, nous incrémentons le comptage de un (ou la fraction de 1/N) et tracer l'un contre l'autre, nous verrons le CDF empirique "exact" (c'est-à-dire non groupé).

Un exemple de code suivant illustre la méthode

import numpy as np
import matplotlib.pyplot as plt

N = 100
Z = np.random.normal(size = N)
# method 1
H,X1 = np.histogram( Z, bins = 10, normed = True )
dx = X1[1] - X1[0]
F1 = np.cumsum(H)*dx
#method 2
X2 = np.sort(Z)
F2 = np.array(range(N))/float(N)

plt.plot(X1[1:], F1)
plt.plot(X2, F2)
plt.show()

Il produit les éléments suivants

enter image description here

76
Dan

Pour compléter la solution de Dan. Dans le cas où il y a plusieurs valeurs identiques dans votre échantillon, vous pouvez utiliser numpy.unique:

Z = np.array([1,1,1,2,2,4,5,6,6,6,7,8,8])
X, F = np.unique(Z, return_index=True)
F=F/X.size

plt.plot(X, F)
4
Alex

mise à jour pour numpy version 1.9.0. La réponse de user545424 ne fonctionne pas dans 1.9.0. Cela marche:

>>> import numpy as np
>>> arr = np.random.randint(0,10,100)
>>> hist, bin_edges = np.histogram(arr, density=True)
>>> hist = array([ 0.16666667,  0.15555556,  0.15555556,  0.05555556,  0.08888889,
    0.08888889,  0.07777778,  0.04444444,  0.18888889,  0.08888889])
>>> hist
array([ 0.1       ,  0.11111111,  0.11111111,  0.08888889,  0.08888889,
    0.15555556,  0.11111111,  0.13333333,  0.1       ,  0.11111111])
>>> bin_edges
array([ 0. ,  0.9,  1.8,  2.7,  3.6,  4.5,  5.4,  6.3,  7.2,  8.1,  9. ])
>>> np.diff(bin_edges)
array([ 0.9,  0.9,  0.9,  0.9,  0.9,  0.9,  0.9,  0.9,  0.9,  0.9])
>>> np.diff(bin_edges)*hist
array([ 0.09,  0.1 ,  0.1 ,  0.08,  0.08,  0.14,  0.1 ,  0.12,  0.09,  0.1 ])
>>> cdf = np.cumsum(hist*np.diff(bin_edges))
>>> cdf
array([ 0.15,  0.29,  0.43,  0.48,  0.56,  0.64,  0.71,  0.75,  0.92,  1.  ])
>>>
3
offwhitelotus