Comment interpréter l'augmentation de la perte et de la précision
J'ai exécuté des modèles d'apprentissage en profondeur (CNN) en utilisant tensorflow. Plusieurs fois au cours de l'époque, j'ai observé que la perte et la précision ont augmenté, ou les deux ont diminué. Ma compréhension était que les deux sont toujours inversement liés. Quel pourrait être le scénario où les deux augmentent ou diminuent simultanément.
La perte diminue au fur et à mesure que le processus d'entraînement se poursuit, à l'exception de certaines fluctuations introduites par les techniques de descente et/ou de régularisation de gradient en mini-lot comme le décrochage (qui introduit du bruit aléatoire).
Si la perte diminue, le processus de formation se déroule bien.
La précision (validation je suppose), au lieu de cela, c'est une mesure de la qualité des prédictions de votre modèle.
Si le modèle apprend, la précision augmente. Si le modèle est trop adapté, la précision cesse d'augmenter et peut même commencer à diminuer.
Si la perte diminue et la précision diminue, votre modèle est trop adapté.
Si la perte augmente et que la précision augmente aussi, c'est parce que vos techniques de régularisation fonctionnent bien et que vous combattez le problème du sur-ajustement. Cela n'est vrai que si la perte commence alors à diminuer alors que la précision continue d'augmenter. Sinon, si la perte continue de croître, votre modèle divergent et vous devez rechercher la cause (généralement, vous utilisez une valeur de taux d'apprentissage trop élevée).
Je pense que la réponse la mieux notée est incorrecte.
Je suppose que vous parlez de la perte d'entropie croisée, qui peut être considérée comme une mesure de "surprise".
La perte et la précision augmentant/diminuant simultanément sur les données d'entraînement ne vous indiquent pas si votre modèle est sur-adapté. Cela ne peut être déterminé qu'en comparant la perte/précision des données de validation et de formation.
Si la perte et la précision diminuent, cela signifie que votre modèle devient plus confiant sur ses prédictions correctes, ou moins confiant sur ses prédictions incorrectes, ou les deux, d'où une diminution de la perte. Cependant, il fait également des prédictions plus incorrectes dans l'ensemble, d'où la baisse de précision. Vice versa si les deux augmentent. C'est tout ce que nous pouvons dire.