web-dev-qa-db-fra.com

indices [201] = [0,8] est hors service. De nombreuses opérations éparses nécessitent des index triés.Utilisez `tf.sparse.reorder` pour créer une copie correctement ordonnée

Je fais un réseau de neurones encodant chaque variable et quand je vais adapter le modèle, une erreur se produit.

indices[201] = [0,8] is out of order. Many sparse ops require sorted indices.
    Use `tf.sparse.reorder` to create a correctly ordered copy.

 [Op:SerializeManySparse]

Je ne sais pas comment le résoudre. Je peux imprimer du code ici et si vous en voulez plus, je peux toujours l'imprimer

def process_atributes(df, train, test):

    continuas = ['Trip_Duration']
    cs = MinMaxScaler()
    trainCont = cs.fit_transform(train[continuas])
    testCont = cs.transform(test[continuas])

    discretas = ['Start_Station_Name', 'End_Station_Name', 'User_Type', 'Genero', 'Hora_inicio']
    ohe = OneHotEncoder()
    ohe.fit(train[discretas])

    trainDisc = ohe.transform(train[discretas])
    testDisc = ohe.transform(test[discretas])

    trainX = sc.sparse.hstack((trainDisc, trainCont))
    testX = sc.sparse.hstack((testDisc, testCont))
    return (trainX, testX)

def prepare_targets(df, train, test):

    labeled_col = ['RangoEdad']

    le = LabelEncoder()
    le.fit(train[labeled_col].values.ravel())
    trainY = le.transform(train[labeled_col])
    testY = le.transform(test[labeled_col])
    return trainY, testY

X_train_enc, X_test_enc = process_atributes(dataFrameDepurado2, train, test)
Y_train_enc, Y_test_enc = prepare_targets(dataSetPrueba, train, test)

model = Sequential()
model.add(Dense(10, input_dim = X_train_enc.shape[1], activation = 'tanh', kernel_initializer = 'he_normal'))
model.add(Dense(4, activation = 'sigmoid'))

model.compile(loss = 'sparse_categorical_crossentropy', optimizer = SGD(lr = 0.01), metrics = ['accuracy'])

model.fit(X_train_enc, Y_train_enc, validation_data = (X_test_enc, Y_test_enc), epochs = 20, batch_size = 64, shuffle = True)

Ceci est mon DataSet

this is my dataSet

Merci d'avance.

pythontensorflowkerasneural-networksparse-matrix
4
Xcelsior

Mentionner la solution ici (section réponse) même si elle est présente dans la section commentaires, pour le bénéfice de la communauté .

La documentation pour SparseTensor états

By convention, indices should be sorted in row-major order (or equivalently 
lexicographic order on the tuples indices[i]). This is not enforced when
SparseTensor objects are constructed, but most ops assume correct ordering. If 
the ordering of sparse tensor st is wrong, a fixed version can be obtained by
calling [tf.sparse.reorder(st)][2].

Donc, en utilisant soit tf.sparse.reorder ou scipy.sort_indices sur les matrices, X_train_enc, X_test_enc, Y_train_enc, Y_test_enc, avant la ligne de code,

model.fit(X_train_enc, Y_train_enc, validation_data = (X_test_enc, 
Y_test_enc), epochs = 20, batch_size = 64, shuffle = True)

résoudra le problème.

Pour plus d'informations, veuillez consulter la documentation de Sparse Tensor et tf.sparse.reorder .

J'espère que cela t'aides. Bon apprentissage!

2
Tensorflow Warriors