Comprendre les conditions Wolfe pour une recherche de ligne inexacte


12

Selon Nocedal & Wright's Book Numerical Optimization (2006), les conditions de Wolfe pour une recherche en ligne inexacte sont, pour une direction de descente ,p

Diminution suffisante: Condition de courbure: pourf(x+αp)≤f(x)+c1αk∇f(x)Tp
∇f(x+αp)Tp≥c2∇f(x)Tp
0<c1<c2<1

Je peux voir comment la condition de diminution suffisante indique que la valeur de la fonction au nouveau point doit être sous la tangente en . Mais je ne sais pas ce que la condition de courbure me dit géométriquement. Aussi, pourquoi la relation être imposée? Qu'est-ce que cela accomplit, géométriquement?x+αpxc1<c2

Réponses:


12

La condition de courbure dit essentiellement ceci: Nous savons que (car est une direction de descente). Donc dans la direction , ça descend. Maintenant, nous recherchons un minimum, c'est-à-dire un point où . Cela signifie que nous ne voulons pas accepter les longueurs de pas où le gradient dans la direction , c'est-à-dire, est toujours aussi négatif qu'il l'est en x. Nous voulons plutôt nous arrêter à un endroit où le gradient est moins négatif, voire positif.∇f(x)⋅p<0pp∇f=0x+αpp∇f(x+αp)⋅p

Étant donné que le côté droit de la condition de courbure est négatif, une variante courante de la condition consiste à exigerque je trouve généralement plus facile à comprendre.

|∇f(x+αp)⋅p|≤c2|∇f(x)⋅p|

Comprendre cela vous permettra de construire facilement des cas où vous ne pouvez pas remplir les deux conditions à moins que .c1<c2


Donc, peu importe la fonction lissefc2<c1

1
c2<c1f(x)
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.