Évaluation et calcul de la précision Top-N: Top 1 et Top 5
J'ai rencontré quelques articles de journaux (problème d'apprentissage de la classification automatique) mentionnés sur l'évaluation de la précision avec l'approche Top-N. Les données ont montré que la précision du Top 1 = 42,5% et la précision du Top 5 = 72,5% dans la même condition de test de formation. Je me demande comment calculer ce pourcentage de top-1 et top-5?
Quelqu'un peut-il me montrer un exemple et des étapes pour calculer cela?
Merci
La précision du top 1 est la précision conventionnelle: la réponse du modèle (celle avec la plus forte probabilité) doit être exactement la réponse attendue.
La précision du Top 5 signifie que toute des 5 réponses les plus probables de votre modèle doit correspondre à la réponse attendue.
Par exemple, supposons que vous appliquez l'apprentissage automatique à la reconnaissance d'objets à l'aide d'un réseau de neurones. Une image d'un chat est montrée, et ce sont les sorties de votre réseau neuronal:
- Tigre: 0,4
- Chien: 0,3
- Chat: 0,1
- Lynx: 0,09
- Lion: 0,08
- Oiseau: 0,02
- Ours: 0,01
En utilisant la précision du top 1, vous comptez cette sortie comme faux, car elle prédit un tigre.
En utilisant la précision du top 5, vous comptez cette sortie comme correct, car cat fait partie des 5 meilleures hypothèses.
Le complément de la précision est l'erreur. L'erreur la plus élevée est le pourcentage de temps pendant lequel le classificateur n'a pas donné le score de probabilité le plus élevé de la classe correcte. L'erreur du top 5: - Le pourcentage de temps pendant lequel le classificateur n'a pas inclus la classe correcte parmi les 5 probabilités ou suppositions les plus importantes.