Qu'est-ce qu'un seuil dans une courbe de précision-rappel?
Je connais le concept de précision ainsi que le concept de rappel. Mais je trouve très difficile de comprendre l'idée d'un "seuil" qui rend possible toute courbe P-R.
Imaginez que j'ai un modèle à construire qui prédit la réapparition (oui ou non) du cancer chez les patients en utilisant un algorithme de classification décent sur les caractéristiques pertinentes. J'ai divisé mes données pour la formation et les tests. Disons que j'ai formé le modèle à l'aide des données du train et obtenu mes mesures de précision et de rappel à l'aide des données de test.
Mais COMMENT puis-je dessiner une courbe P-R maintenant? Sur quelle base? J'ai juste deux valeurs, une précision et un rappel. J'ai lu que c'est le "seuil" qui vous permet d'obtenir plusieurs paires précision-rappel. Mais quel est ce seuil? Je suis encore débutant et je n'arrive pas à comprendre le concept même de seuil.
Je vois dans tant de comparaisons de modèles de classification comme celle ci-dessous. Mais comment obtiennent-ils ces nombreuses paires?
Comparaison de modèles utilisant une courbe de rappel de précision
Tout d'abord, vous devez supprimer les 'roc' et 'auc' les balises comme courbe de rappel de précision est quelque chose de différent:
Courbes ROC:
- axe des x: taux de faux positifs FPR = FP/(FP + TN) = FP/N
- axe des y: taux positif vrai TPR = rappel = TP/(TP + FN) = TP/P
Courbes de rappel de précision:
- axe des x: Rappel = TP/(TP + FN) = TP/P = TPR
- axe y: Précision = TP/(TP + FP) = TP/PP
Votre exemple de détection du cancer est un problème de classification binaire. Vos prédictions sont basées sur une probabilité. La probabilité de (ne pas) avoir de cancer.
En général, une instance serait classée comme A, si P(A)> 0,5 (votre valeur seuil). Pour cette valeur, vous obtenez votre paire Recall-Precision basée sur les vrais positifs, Vrais négatifs, faux positifs et faux négatifs.
Maintenant, lorsque vous modifiez votre seuil de 0,5, vous obtenez un résultat différent (paire différente). Vous pouvez déjà classer un patient comme "atteint de cancer" pour P(A)> 0,3. Cela diminuera la précision et augmentera le rappel. Vous préférez dire à quelqu'un qu'il a un cancer même s'il n'a pas , pour s'assurer que les patients atteints de cancer reçoivent le traitement dont ils ont besoin. Cela représente le compromis intuitif entre TPR et FPR ou Précision et Rappel ou Sensibilité et Spécificité.
Ajoutons ces termes comme vous les voyez plus souvent en biostatistique.
- Sensibilité = TP/P = Rappel = TPR
- Spécificité = TN/N = (1 - FPR)
Les courbes ROC et Precision-Recall visualisent tous ces seuils possibles de votre classificateur.
Vous devriez considérer ces mesures, si la précision seule n'est pas une mesure de qualité appropriée. La classification de tous les patients comme "n'a pas de cancer" vous donnera la plus grande précision, mais les valeurs de vos courbes ROC et Précision-Rappel seront de 1 et de 0.