Confusion au sujet de la règle d'Armijo

J'ai cette confusion sur la règle Armijo utilisée dans la recherche en ligne. Je relisais la recherche de ligne de suivi, mais je n'ai pas compris de quoi s'agissait cette règle Armijo. Quelqu'un peut-il expliquer ce qu'est la règle d'Armijo? Le wikipedia ne semble pas bien expliquer. Merci

optimization

— user34790
source

Et si dans l'équation la variable x n'est pas un vecteur mais une matrice? Comment mettre à jour la règle Armijo?

— Frank Puk

rien ne change. vous devez simplement remodeler votre matrice

en un vecteur (colonne)

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

C'est là que je suis resté coincé. Lorsque

devient une matrice, la valeur sur le côté gauche (

) est toujours un scalaire. Mais la valeur sur le côté droit n'est pas - à la place, c'est une matrice (

est un scalaire et

est une matrice.)

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— Frank Puk

vous devrez travailler avec un vecteur, pas avec une matrice. vous remodelez donc votre matrice

de variables de contrôle (je l'ai désignée par

) en un vecteur

avec

éléments. La direction de recherche et le gradient seront également des vecteurs à

éléments. de cette façon, les RHS et LHS de la condition d'Armijo sont des scalaires et peuvent être comparés.

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— GoHokies

Réponses:

Une fois que vous avez obtenu une direction de descente pour votre fonction objectif , vous devez choisir une "bonne" longueur de pas. Vous ne voulez pas faire un pas trop grand pour que la fonction à votre nouveau point soit plus grande que votre point actuel. Dans le même temps, vous ne voulez pas faire votre pas trop petit de telle sorte qu'il faut une éternité pour arriver à converger. $p$ $f(x)$

L'état d'Armijo suggère essentiellement qu'une "bonne" longueur de pas est telle que vous avez "une diminution suffisante" de à votre nouveau point. La condition est mathématiquement énoncée comme où est une direction de descente à et . $f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

L'intuition derrière cela est que la valeur de la fonction au nouveau point devrait être sous la "ligne tangente" réduite à dans la direction de . Voir le livre de Nocedal & Wright "Numerical Optimization". Dans le chapitre 3, il y a une excellente description graphique de la condition de diminution suffisante d'Armijo. $f(x_k+\alpha p_k)$ $x_k$ $p_k$

— Paul
source

β

$\beta$

α

$\alpha$

La raison pour laquelle cela importe du tout, c'est-à-dire pourquoi une "bonne" étape est nécessaire, est que de nombreux schémas d'optimisation convergeront plus lentement, comme le dit Paul, ou pourraient ne pas converger du tout. Ainsi, les recherches en ligne - qui existent en plusieurs variétés, Armijo est juste la plus populaire - peuvent être utilisées pour donner aux algorithmes des propriétés de convergence plus robustes.

— cjordan1

Paul: votre explication est incomplète. Cette inégalité à elle seule ne garantit pas une diminution «suffisante». En fait, vous pouvez avoir alpha = 0 et satisfait toujours l'inégalité que vous avez écrite. Une caractéristique importante est que la règle d'Armijo est de délimiter la taille du pas à partir de zéro, ce qui se fait par une autre inégalité: f (gamma * x_new) -f (x_old)> beta * (gamma * x_new-x_old) ^ T * grad (f (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

Cinq ans plus tard, cette question est toujours d'actualité.

Ici (pages 16 et 17), vous pouvez trouver une excellente explication, y compris un algorithme.

— Bojan Hrnkas
source