Quelle est la différence entre une descente en pente et une montée en pente?
Je n'arrive pas à trouver quoi que ce soit à propos de la montée progressive. N'importe quel bon lien entre la montée d'un gradient et sa différence avec la descente d'un gradient aiderait.
Ce n'est pas différent L'ascension de gradient est simplement le processus de maximisation, au lieu de minimisation, d'une fonction de perte. Tout le reste est tout à fait pareil. L'ascension pour une fonction de perte, pourrait-on dire, est comme une descente de gradient sur le négatif de cette fonction de perte.
En règle générale, vous utiliseriez l'ascension sur gradient pour maximiser une fonction de vraisemblance et la descente sur gradient pour minimiser une fonction de coût. La descente et la montée en pente sont pratiquement les mêmes. Laissez-moi vous donner un exemple concret en utilisant un simple algorithme convivial d’optimisation basé sur un gradient avec une fonction de probabilité/coût concav/convexe: la régression logistique.
Malheureusement, SO ne semble toujours pas supporter LaTeX, alors laissez-moi poster quelques captures d'écran.
La fonction de probabilité que vous souhaitez maximiser dans la régression logistique est
où "phi" est simplement la fonction sigmoïde
Maintenant, vous voulez une fonction concave pour l’ascension progressive, prenez donc le journal:
De même, vous pouvez simplement l'écrire en tant que son inverse pour obtenir la fonction de coût que vous pouvez minimiser via la descente de gradient.
Pour la log-vraisemblance, vous dérivez et appliquez le gradient croissant comme suit:
Puisque vous voulez mettre à jour tous les poids simultanément, écrivons-le comme
Maintenant, il devrait être assez évident de voir que la mise à jour de descente de gradient est la même que celle de montée ascendante, gardez seulement à l’esprit que nous la formulons comme "faisant un pas dans la direction opposée de la pente de la fonction de coût"
J'espère que cela répond à votre question!
La descente de gradient est utilisée pour minimiser une fonction particulière, tandis que la montée en gradient est utilisée pour maximiser une fonction.
Découvrez ceci http://www.speech.sri.com/people/anand/771/html/node33.html
Gradient est un autre mot pour pente. La pente positive du graphique en un point (x, y) signifie que le graphique est incliné vers le haut en un point (x, y). D'autre part, le gradient négatif du graphique en un point (x, y) signifie que le graphique est incliné vers le bas en un point (x, y).
La descente de gradient est un algorithme itératif utilisé pour trouver un ensemble de thêta minimisant la valeur d'une fonction de coût. Par conséquent, l’ascension de gradient produirait un ensemble de thêta maximisant la valeur d’une fonction de coût.
Si vous voulez minimiser une fonction, nous utilisons Gradient Descent. Pour par exemple. en apprentissage en profondeur, nous voulons minimiser la fonction de perte et utiliser Gradient Descent.
Si vous voulez maximiser une fonction, nous utilisons Gradient Ascent. Pour par exemple. Dans l’apprentissage par renforcement - Méthodes Gradient de politique, notre objectif est de maximiser la fonction récompense/rendement attendu et nous utilisons donc l’ascension de gradient.