web-dev-qa-db-fra.com

Comment normaliser les données d'entraînement et de test à l'aide de Sklearn MinMaxScaler

Donc, j'ai ce doute et j'ai cherché des réponses. Donc, la question est quand j'utilise,

from sklearn import preprocessing
min_max_scaler = preprocessing.MinMaxScaler()

df = pd.DataFrame({'A':[1,2,3,7,9,15,16,1,5,6,2,4,8,9],'B':[15,12,10,11,8,14,17,20,4,12,4,5,17,19],'C':['Y','Y','Y','Y','N','N','N','Y','N','Y','N','N','Y','Y']})

df[['A','B']] = min_max_scaler.fit_transform(df[['A','B']])
df['C'] = df['C'].apply(lambda x: 0 if x.strip()=='N' else 1)

Après quoi je formerai et testerai le modèle (A, B en tant que fonctionnalités, C en tant qu'étiquette) et j'obtiendrai un certain score de précision. Maintenant, je doute que se passe-t-il lorsque je dois prédire le libellé d'un nouvel ensemble de données. Dire,

df = pd.DataFrame({'A':[25,67,24,76,23],'B':[2,54,22,75,19]})

Parce que lorsque je normalise la colonne, les valeurs de A et B seront modifiées en fonction des nouvelles données, pas des données sur lesquelles le modèle sera formé. Donc, maintenant, mes données après l'étape de préparation des données, comme ci-dessous, le seront.

data[['A','B']] = min_max_scaler.fit_transform(data[['A','B']])

Les valeurs de A et B changeront par rapport à la valeur de Max et Min de df[['A','B']]. La préparation des données de df[['A','B']] concerne Min Max de df[['A','B']].

Comment la préparation des données peut-elle être valable par rapport à différents nombres? Je ne comprends pas comment la prédiction sera correcte ici.

pythonmachine-learningscikit-learnnormalizationsklearn-pandas
5
Tia

Vous devez ajuster les MinMaxScaler à l'aide des données training, puis appliquer le scaler sur les données testing avant la prédiction.

En résumé:

  • Étape 1: placez le scaler sur le TRAINING data
  • Étape 2: utilisez les scaler à transform the training data
  • Étape 3: utilisez le transformed training data à fit the predictive model
  • Étape 4: utilisez les scaler à transform the TEST data
  • Étape 5: predict à l'aide de trained model et le transformed TEST data

Exemple utilisant vos données:

from sklearn import preprocessing
min_max_scaler = preprocessing.MinMaxScaler()
#training data
df = pd.DataFrame({'A':[1,2,3,7,9,15,16,1,5,6,2,4,8,9],'B':[15,12,10,11,8,14,17,20,4,12,4,5,17,19],'C':['Y','Y','Y','Y','N','N','N','Y','N','Y','N','N','Y','Y']})
#fit and transform the training data and use them for the model training
df[['A','B']] = min_max_scaler.fit_transform(df[['A','B']])
df['C'] = df['C'].apply(lambda x: 0 if x.strip()=='N' else 1)

#fit the model
model.fit(df['A','B'])

#after the model training on the transformed training data define the testing data df_test
df_test = pd.DataFrame({'A':[25,67,24,76,23],'B':[2,54,22,75,19]})

#before the prediction of the test data, ONLY APPLY the scaler on them
df_test[['A','B']] = min_max_scaler.transform(df_test[['A','B']])

#test the model
y_predicted_from_model = model.predict(df_test['A','B'])

Exemple utilisant des données d'iris:

import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler
from sklearn.svm import SVC

data = datasets.load_iris()
X = data.data
y = data.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

scaler = MinMaxScaler()
X_train_scaled = scaler.fit_transform(X_train)

model = SVC()
model.fit(X_train_scaled, y_train)

X_test_scaled = scaler.transform(X_test)
y_pred = model.predict(X_test_scaled)

J'espère que cela t'aides.

28
makis

Le meilleur moyen est de former et d'enregistrer le modèle MinMaxScaler et de le charger lorsque cela est nécessaire.

Modèle d'enregistrement:

df = pd.DataFrame({'A':[1,2,3,7,9,15,16,1,5,6,2,4,8,9],'B':[15,12,10,11,8,14,17,20,4,12,4,5,17,19],'C':['Y','Y','Y','Y','N','N','N','Y','N','Y','N','N','Y','Y']})
df[['A','B']] = min_max_scaler.fit_transform(df[['A','B']])  
pickle.dump(min_max_scaler, open("scaler.pkl", 'wb'))

Chargement du modèle enregistré:

scalerObj = pickle.load(open("scaler.pkl", 'rb'))
df_test = pd.DataFrame({'A':[25,67,24,76,23],'B':[2,54,22,75,19]})
df_test[['A','B']] = scalerObj.transform(df_test[['A','B']])
0
vipin bansal