Qu'est-ce que le biais inductif dans l'apprentissage automatique?
Qu'est-ce que le biais inductif dans l'apprentissage automatique? Pourquoi est-ce nécessaire?
Chaque algorithme d'apprentissage automatique ayant une capacité à généraliser au-delà des données d'entraînement qu'il voit a un certain type de biais inductif, qui sont les hypothèses faites par le modèle pour apprendre la fonction cible et pour généraliser au-delà des données d'entraînement.
Par exemple, dans la régression linéaire, le modèle suppose que la sortie ou la variable dépendante est liée à la variable indépendante de façon linéaire (dans les pondérations). Il s'agit d'un biais inductif du modèle.
biais inductif est l'ensemble d'hypothèses qu'un apprenant utilise pour prédire les résultats en fonction des données qu'il n'a pas encore rencontrées.
Selon la définition de Tom Mitchell ,
un biais inductif d'un apprenant est l'ensemble d'hypothèses supplémentaires suffisantes pour justifier ses inférences inductives comme inférences déductives.
Je ne pouvais pas tout à fait comprendre la définition ci-dessus, j'ai donc cherché sur Wikipedia et j'ai pu résumer la définition en termes simples.
Étant donné un ensemble de données, quel modèle d'apprentissage (= biais inductif) choisir?
Le biais inductif a des hypothèses antérieures sur les tâches. Pas un biais qui soit le meilleur sur tous les problèmes et il y a eu beaucoup d'efforts de recherche pour découvrir automatiquement le biais inductif.
Voici une liste des biais inductifs courants dans les algorithmes d'apprentissage automatique.
Indépendance conditionnelle maximale : si l'hypothèse peut être exprimée dans un cadre bayésien, essayez de maximiser l'indépendance conditionnelle. Il s'agit du biais utilisé dans le classificateur Naive Bayes.
Erreur minimale de validation croisée : lorsque vous essayez de choisir parmi des hypothèses, sélectionnez l'hypothèse avec l'erreur de validation croisée la plus faible. Bien que la validation croisée puisse sembler exempte de biais, les théorèmes du "déjeuner gratuit" montrent que la validation croisée doit être biaisée.
Marge maximale : lorsque vous dessinez une frontière entre deux classes, essayez de maximiser la largeur de la frontière. Il s'agit du biais utilisé dans les machines à vecteurs de support. L'hypothèse est que les classes distinctes ont tendance à être séparées par de larges frontières.
Longueur minimale de description : lors de la formation d'une hypothèse, essayez de minimiser la longueur de la description de l'hypothèse. L'hypothèse est que les hypothèses plus simples sont plus susceptibles d'être vraies. Voir le rasoir d'Occam.
Fonctionnalités minimales : sauf s'il existe de bonnes preuves qu'une fonctionnalité est utile, elle doit être supprimée. C'est l'hypothèse derrière les algorithmes de sélection des fonctionnalités.
Voisins les plus proches : supposons que la plupart des cas dans un petit voisinage dans l'espace d'entités appartiennent à la même classe. Étant donné un cas pour lequel la classe est inconnue, devinez qu'elle appartient à la même classe que la majorité dans son voisinage immédiat. Il s'agit du biais utilisé dans l'algorithme k-voisins les plus proches. L'hypothèse est que les cas proches les uns des autres ont tendance à appartenir à la même classe.
Plus d'informations sont ici: Biais inductif - Comment généraliser sur de nouvelles données
biais inductif peut être considéré comme l'ensemble des hypothèses que nous faisons sur un domaine que nous essayons d'apprendre.
Techniquement, lorsque nous essayons d'apprendre Y à partir de X et, initialement, l'espace d'hypothèses (différentes fonctions pour apprendre X-> Y) pour Y est infini. Pour apprendre quoi que ce soit, nous devons réduire la portée. Cela se fait sous la forme de nos croyances/hypothèses sur l'espace des hypothèses, également appelé biais inductif.
Grâce à l'introduction de ces hypothèses, nous contraignons notre espace d'hypothèses et obtenons également la capacité de tester et d'améliorer progressivement les données sous la forme d'hyper-paramètres.
Exemples de biais inductifs -
- Régression linéaire: Y varie linéairement en X (en paramètres de X).
- Régression logistique: il existe un hyperplan qui sépare les exemples négatifs/positifs
- Réseaux de neurones: en gros, Y est une fonction non linéaire de X (la non linéarité dépend des fonctions d'activation, de la topologie, etc.)
Je pense que c'est un ensemble d'hypothèses avec lesquelles les gens peuvent prédire à partir d'entrées qui ne figurent pas dans l'ensemble de données que nous avons plus correctement. Il est nécessaire qu'un modèle ait un biais inductif, car seul ce modèle peut être plus utile pour plus de données. Le but du modèle est de tenir dans la plupart des données, mais pas seulement dans les données d'échantillon. Le biais inductif est donc important.