J'utilise Scikit-learn pour la classification de texte. Je souhaite calculer le gain d’information pour chaque attribut par rapport à une classe dans une matrice de termes de document (fragmentée). Le gain d'information est défini comme suit: H(Class) - H (Classe | Attribut)), où H est l'entropie.
En utilisant weka, ceci peut être accompli avec le InfoGainAttribute . Mais je n'ai pas trouvé cette mesure dans scikit-learn.
Cependant, il a été suggéré que la formule ci-dessus pour le gain d'information soit la même mesure que l'information mutuelle. Cela correspond également à la définition de wikipedia .
Est-il possible d'utiliser un paramètre spécifique pour l'information mutuelle dans scikit-learn pour accomplir cette tâche?
Vous pouvez utiliser scikit-learn's mutual_info_classif
voici un exemple
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_selection import mutual_info_classif
from sklearn.feature_extraction.text import CountVectorizer
categories = ['talk.religion.misc',
'comp.graphics', 'sci.space']
newsgroups_train = fetch_20newsgroups(subset='train',
categories=categories)
X, Y = newsgroups_train.data, newsgroups_train.target
cv = CountVectorizer(max_df=0.95, min_df=2,
max_features=10000,
stop_words='english')
X_vec = cv.fit_transform(X)
res = dict(Zip(cv.get_feature_names(),
mutual_info_classif(X_vec, Y, discrete_features=True)
))
print(res)
cela produira un dictionnaire de chaque attribut, c’est-à-dire un élément du vocabulaire sous forme de clés et leur information gagnante sous forme de valeurs
voici un échantillon de la sortie
{'bible': 0.072327479595571439,
'christ': 0.057293733680219089,
'christian': 0.12862867565281702,
'christians': 0.068511328611810071,
'file': 0.048056478042481157,
'god': 0.12252523919766867,
'gov': 0.053547274485785577,
'graphics': 0.13044709565039875,
'jesus': 0.09245436105573257,
'launch': 0.059882179387444862,
'moon': 0.064977781072557236,
'morality': 0.050235104394123153,
'nasa': 0.11146392824624819,
'orbit': 0.087254803670582998,
'people': 0.068118370234354936,
'prb': 0.049176995204404481,
'religion': 0.067695617096125316,
'shuttle': 0.053440976618359261,
'space': 0.20115901737978983,
'thanks': 0.060202010019767334}