Quel est le principe derrière la convergence des méthodes du sous-espace de Krylov pour résoudre des systèmes d'équations linéaires?

Si je comprends bien, il existe deux grandes catégories de méthodes itératives pour résoudre des systèmes linéaires d'équations:

Méthodes stationnaires (Jacobi, Gauss-Seidel, SOR, Multigrid)
Méthodes Krylov Subspace (Gradient Conjugué, GMRES, etc.)

Je comprends que la plupart des méthodes stationnaires fonctionnent en relaxant de manière itérative (lissage) les modes de Fourier de l'erreur. Si je comprends bien, la méthode du gradient conjugué (méthode du sous-espace de Krylov) fonctionne en "progressant" à travers un ensemble optimal de directions de recherche à partir des puissances de la matrice appliquées au $n$ ème résiduel. Ce principe est-il commun à toutes les méthodes du sous-espace de Krylov? Sinon, comment caractérisons-nous le principe de la convergence des méthodes du sous-espace de Krylov, en général?

— Paul
source

Votre analyse des méthodes stationnaires est biaisée par de simples problèmes de modèle, car ceux-ci peuvent être analysés en termes de modes de Fourier. Il ignore également l'alternance de direction implicite (ADI) et de nombreuses autres méthodes. Le but de la plupart des "méthodes stationnaires" est de combiner de nombreux solveurs "partiels approximatifs" simples en un seul solveur itératif. Le but des méthodes de Krylov est d'accélérer (voire d'imposer) la convergence d'une itération linéaire stationnaire donnée.

— Thomas Klimpel

Je pense qu'un document qui a été écrit pour répondre à vos questions est Ipsen et Meyer, L'idée derrière les méthodes de Krylov, Amer. Math. Mensuel 105 (1998) pp. 889-899. C'est un document merveilleusement bien écrit et clarifiant, disponible ici .

— Andrew T.Barker

@ AndrewT.Barker: Génial! Merci Andrew! :)

— Paul

Réponses:

En général, toutes les méthodes de Krylov recherchent essentiellement un polynôme qui est petit lorsqu'il est évalué sur le spectre de la matrice. En particulier, le ème résidu d'une méthode de Krylov (avec une supposition initiale nulle) peut être écrit sous la forme $n$

r_{n} = P_{n} (A) b

$r_n = P_n (A) b$

où est un polynôme monique de degré . $P_n$ $n$

Si est diagonalisable, avec , on a $A$ $A=V\Lambda V^{-1}$

\begin{array}{rcl} ‖ r_{n} ‖ & \leq & ‖ V ‖ \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ V^{- 1} ‖ \cdot ‖ b ‖ \\ = & κ (V) \cdot ‖ P_{n} (Λ) ‖ \cdot ‖ b ‖ . \end{array}

$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$

Dans le cas où est normal (par exemple, symétrique ou unitaire), nous savons que GMRES construit un tel polynôme via l'itération Arnoldi, tandis que CG construit le polynôme en utilisant un produit interne différent (voir cette réponse pour plus de détails ). De même, BiCG construit son polynôme à travers le processus non symétrique de Lanczos, tandis que l'itération de Chebyshev utilise des informations préalables sur le spectre (généralement des estimations des valeurs propres les plus grandes et les plus petites pour les matrices définies symétriques). $A$ $\kappa(V) = 1.$

Comme exemple sympa (motivé par Trefethen + Bau), considérons une matrice dont le spectre est le suivant:

Spectre de matrice

Dans MATLAB, j'ai construit cela avec:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

Si nous considérons GMRES, qui construit des polynômes qui minimisent réellement le résidu sur tous les polynômes moniques de degré , nous pouvons facilement prédire l'historique résiduel en examinant le polynôme candidat $n$

P_{n} (z) = (1 - z)^{n}

$P_n (z) = (1-z)^n$

qui dans notre cas donne

| P_{n} (z) | = \frac{1}{2^{n}}

$|P_n(z)| = \frac{1}{2^n}$

pour dans le spectre de . $z$ $A$

Maintenant, si nous exécutons GMRES sur un RHS aléatoire et comparons l'historique résiduel avec ce polynôme, ils devraient être assez similaires (les valeurs polynomiales candidates sont plus petites que le résidu GMRES parce que ): $\|b\|_2 > 1$

Antécédents résiduels

— Reid.Atcheson
source

Pourriez-vous clarifier ce que vous entendez par "petit sur le spectre de la matrice"?

— Paul

Prise comme un polynôme complexe, le polynôme a faible module dans une région du plan complexe qui comprend le spectre de . Imaginez un tracé de contour superposé à un diagramme de dispersion des valeurs propres. Comment petit est petit? Cela dépend du problème, de savoir si est normal et du côté droitL'idée de base est cependant que la séquence de polynômes cherche à devenir de plus en plus petite sur le spectre de sorte que l'estimation résiduelle dans ma réponse tend vers .

P_{n}

$P_n$

A

$A$

A

$A$

b .

$b.$

(P_{n})

$(P_n)$

0

$0$

— Reid.Atcheson

@ Reid.Atcheson: Très bien dit. Puis-je recommander d'écrirecomme

‖ V ‖ ‖ V^{- 1} ‖

$\|V\|\|V^{-1}\|$

κ (V)

$\kappa(V)$ et en mentionnant qu'il en est un pour les matrices normales?

— Jack Poulson

Le Laplacien préconditionné par le SOR optimal a un spectre très similaire à cet exemple de matrice. Détails ici: scicomp.stackexchange.com/a/852/119

— Jed Brown

A strictement parler, le CGNE est indépendant du spectre puisqu'il ne dépend que de valeurs singulières.

— Jed Brown

Sur les normes

$n^{\mathrm{th}}$ $P_n$ $2$

r_{n} = A x_{n} - b = (P_{n} (A) - 1) b - b = P_{n} (A) b .

$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$

$A$ $A$ $A^{-1}$

\begin{aligned} ‖ r_{n} ‖_{A^{- 1}} & = r_{n}^{T} A^{- 1} r_{n} \\ = (A e_{n})^{T} A^{- 1} A e_{n} \\ = e_{n}^{T} A e_{n} \\ = ‖ e_{n} ‖_{A} \end{aligned}

$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$

où nous avons utilisé l'erreur

e_{n} = x_{n} - x_{*} = x_{n} - A^{- 1} b = A^{- 1} r_{n}

$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$

$A$ $A^{-1}$ $A$ $2$ $A^T A$ $A$

Netteté des limites de convergence

Enfin, il existe une littérature intéressante concernant les différentes méthodes et subtilités de Krylov de la convergence GMRES, en particulier pour les opérateurs non normaux.

Nachtigal, Reddy et Trefethen (1992) À quelle vitesse les itérations matricielles non symétriques? (pdf de l'auteur) donne des exemples de matrices pour lesquelles une méthode bat toutes les autres d'un grand facteur (au moins la racine carrée de la taille de la matrice).
Embree (1999) Dans quelle mesure les limites de convergence GMRES sont-elles descriptives? donne une discussion perspicace en termes de pseudospectres qui donnent des limites plus nettes et s'applique également aux matrices non diagonalisables.
Embree (2003) La tortue et le lièvre redémarrent GMRES (auteur pdf)
Greenbaum, Pták et Strakoš (1996) Toute courbe de convergence non croissante est possible pour GMRES

— Jed Brown
source

Vous avez laissé l'excellent livre d'Olavi Nevanlinna: books.google.com/…

— Matt Knepley

Méthodes itératives en bref:

$Ax=b$ $C$
$x = x + C b - C A x$ $x = x + Cb- CAx$ $\|I-CA\|<1$ $C$ $C=D^{-1}$ $D$ $A$
$U,V\subset \mathbb{C}^n$ $\tilde x \in U$ $b-A\tilde x$ $V$ $U$ $A$ $V$ $V=U$ $V=AU$

$V$ $\tilde x$ $U$ $U$

$U$ $A$ $\tilde x$

Ceci est bien expliqué dans le livre de Youcef Saad sur les méthodes itératives .

— Christian Clason
source