Sensibilité du BFGS aux approximations initiales de la Hesse

J'essaie d'implémenter la méthode Broyden-Fletcher-Goldfarb-Shanno pour trouver le minimum d'une fonction. J'ai besoin de deux suppositions initiales & et d'une approximation initiale de la matrice de Hesse . La seule exigence que je trouve pour est que si la Hesse est définie positive symétrique, il en va de même pour . En regardant wikipedia, je vois qu'une approximation initiale typique est (la matrice d'identité). Est-ce toujours un bon initial ? Y a-t-il une raison pour laquelle je voudrais choisir autre chose que $x_{-1}$ $x_0$ $B_0$ $B_0$ $B_0$ $B_0=I$ $B_0$ $I$ ? Est-ce que d'autres choix de B, satisfaisant aux mêmes propriétés matricielles, affecteraient grandement la convergence de la méthode?

optimization algorithms

— Paul
source

Si vous avez une approximation hessois justifiée, il est préférable de l' utiliser plutôt que l'arbitraire . $B_0=I$

$x^*$ $r>0$ $r+1$ $r+1$ $q=\|B_0^{-1}f''(x^*)-G\|$ $<1$ $r$ $G$ de la matrice d'identité. Ainsi, essayer de faire ce petit est très précieux. (Cela équivaut à préconditionner le système.) Le facteur de convergence s'améliore avec le temps et se rapproche finalement de zéro (convergence superlinéaire), mais dans de nombreux problèmes réels (en particulier ceux de grande dimension), on ne fait jamais suffisamment d'itérations pour atteindre le régime superlinéaire. Ainsi, la vitesse initiale est assez importante.

$\|F(x)\|_2^2$ $B_0=F'(x_0)^TF'(x_0)$ $x$

Un autre cas important est lorsque vous résolvez une séquence de problèmes connexes. Souvent, le redémarrage du solveur avec l'approximation hessienne finale du problème précédent réduit considérablement le nombre d'itérations nécessaires.

— Arnold Neumaier
source

B_{0}

$B_0$

B_{0}

$B_0$

k \to \infty

$k\rightarrow \infty$

@Paul: Voir ma modification.

— Arnold Neumaier