Problèmes où le gradient conjugué fonctionne beaucoup mieux que GMRES

17

Je m'intéresse aux cas où le gradient conjugué fonctionne bien mieux que la méthode GMRES.

En général, le CG est le choix préférable dans de nombreux cas de SPD (symétrique-positif-défini) car il nécessite moins de stockage et le taux théorique de convergence pour le CG est le double de celui du GMRES. Y a-t-il des problèmes où ces taux sont effectivement observés? Existe-t-il une caractérisation des cas où GMRES fonctionne mieux ou est comparable à CG pour le même nombre de spmv (multiplications matricielles-vecteur éparses).

linear-solver conjugate-gradient gmres

— piyush_sao
source

8

Une chose que CG a en sa faveur est qu'elle ne minimise pas la norme discrète pour ses polynômes résiduels (ce que fait GMRES). Cela minimise plutôt une norme induite par la matrice, et très souvent cette norme induite par la matrice finit par être très proche de la norme énergétique pour la discrétisation des problèmes physiques, et souvent c'est une norme beaucoup plus raisonnable pour mesurer l'erreur en raison des propriétés de conservation à venir de la physique. $l^2$

Vous pouvez également obtenir ce type d'effet avec GMRES si effectuer une factorisation Cholesky d'une matrice de masse n'est pas trop cher, vous pouvez forcer les produits internes à être les produits énergétiques internes que vous souhaitez.

Ensuite, les cas où l'on devrait s'attendre à ce que CG fonctionne très différemment de GMRES, c'est quand les constantes impliquées dans l'équivalence de normes sont très différentes. Cela peut être vrai par exemple dans une méthode spectrale de Galerkin d'ordre élevé où la norme discrète utilisée dans GMRES traite tous les degrés de liberté comme étant égaux, alors qu'en réalité les gradients polynomiaux sont les plus nets près des frontières (d'où le regroupement de nœuds), etc. les constantes d'équivalence de norme entre cette norme et disons que la norme continue donnée par la matrice de masse peut être très grande. $l^2$ $L^2$

— Reid.Atcheson
source

Je voulais donner un exemple ici avec une méthode d'ordre élevé et des historiques de convergence de CG, GMRES et GMRES + astuce Cholesky .. mais malheureusement le seul code que j'ai en main pour les problèmes de second ordre est DG de la variété non symétrique .. donc CG isn 'ne s'applique pas, aimerait voir cela en action.

— Reid.Atcheson

3

Je pense que votre réponse atteint quelque chose d'important, mais j'aimerais que vous clarifiiez. En particulier, la question est une question d'algèbre linéaire pure, et votre réponse parle de normes physiques et de matrices de masse et ainsi de suite à partir d'un PDE numérique. Pouvons-nous dire quelque chose de précis sur la façon dont la minimisation dans différentes normes au sein d'un même espace Krylov conduit à des itérations différentes?

— Andrew T.Barker

Mis à part les exemples numériques, je ne pense pas qu'il y ait encore eu une étude théorique approfondie expliquant comment différentes normes donnent des réponses substantiellement différentes. Je pense que le problème est que les résultats tournent autour de l'asymptotique, et pour un système linéaire fixe, les résultats théoriques seront des facteurs constants modulo identiques. S'il y a des études théoriques, j'aimerais les voir, mais après avoir demandé à certains des experts en algèbre linéaire numérique de mon département, il ne semble pas qu'il y ait encore une analyse théorique précise montrant ce qui se passe avec différentes normes.

— Reid.Atcheson

4

Je soupçonne qu'il n'y a en général pas beaucoup de différence entre GMRES et CG pour une matrice SPD.

Disons que nous résolvons avec défini positif symétrique et la supposition de départ et générons des itérations avec CG et GMRES, appelons-les et . Les deux méthodes itératives construiront partir du même espace de Krylov . Ils le feront de manières légèrement différentes. $Ax = b$ $A$ $x_0 = 0$ $x_k^c$ $x_k^g$ $x_k$ $K_k = \{ b, Ab, A^2b, \ldots \}$

CG se caractérise en minimisant l'erreur dans la norme d'énergie induite par , de sorte que $e_k^c = x - x_k^c$ $A$

(UNE e_{k}^{c}, e_{k}^{c}) = (UNE (X - X_{k}^{c}), X - X_{k}^{c}) = min_{y \in K} (UNE (X - y), X - y) .

$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$

GMRES minimise à la place le résidu , et le fait dans la norme discrète , de sorte que $r_k = b - A x^g_k$ $\ell^2$

(r_{k}, r_{k}) = (b - UNE X_{k}^{g}, b - UNE X_{k}^{g}) = min_{y \in K} (b - UNE y, b - UNE y) .

$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$ Maintenant, en utilisant l'équation d'erreur

nous pouvons également écrire GMRES comme minimisant

où Je tiens à souligner que ce ne vaut que pour une matrice SPD

. Ensuite, nous avons CG minimisant l'erreur par rapport à l'

A e_{k} = r_{k}

$A e_k = r_k$

(r_{k}, r_{k}) = (UNE e_{k}^{g}, UNE e_{k}^{g}) = ({UNE}^{2} e_{k}^{g}, e_{k}^{g})

$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$

A

$A$

A

$A$ norme et GMRES minimisant l'erreur par rapport à la norme

. Si nous voulons qu'ils se comportent très différemment, nous aurions besoin intuitivement d'un

tel que ces deux normes soient très différentes. Mais pour le SPD

ces normes se comporteront de manière assez similaire.

A^{2}

$A^2$

A

$A$

A

$A$

Pour être encore plus précis, dans la première itération avec l'espace de Krylov , CG et GMRES construiront une approximation de la forme . CG choisira $K_1 = \{ b \}$ $x_1 = \alpha b$

α = \frac{(b, b)}{(UNE b, b)}

$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$

α = \frac{(UNE b, b)}{({UNE}^{2} b, b)} .

$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$

A

$A$

(ϵ, 1, 1, 1, \dots)

$(\epsilon,1,1,1,\ldots)$

b = (1, 1, 0, 0, 0, \dots)

$b = (1,1,0,0,0,\ldots)$

ϵ \to 0

$\epsilon \rightarrow 0$

A

$A$

b

$b$ de sorte que ce facteur de différence deux continue tout au long de l'itération, mais je doute qu'il s'aggrave.

— Andrew T. Barker
source

2

b = (1, \sqrt{ϵ}, 0, 0, \dots)

$b = (1,\sqrt{\epsilon},0,0,\dotsc)$

| b | = \sqrt{1 + ϵ}

$|b| = \sqrt{1 + \epsilon}$

b^{T} A b = \sqrt{2} ϵ

$b^T A b = \sqrt{2} \epsilon$

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$

α_{CG} = \frac{ϵ^{- 1} + 1}{\sqrt{2}} \sim ϵ^{- 1}

$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$

α_{GMRES} = \sqrt{\frac{2}{1 + ϵ^{2}}} \sim \sqrt{2}

$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$

ϵ^{- 1}

$\epsilon^{-1}$

3

Une chose est que GMRES n'est jamais utilisé partout où CG peut être appliqué. Je ne pense pas qu'il soit logique de comparer ces deux. Pour les matrices SPD, CG est définitivement le gagnant en raison des exigences de stockage et des raisons que vous avez mentionnées ci-dessus. Une question qui serait intéressante est de trouver une extension de CG, applicable aux problèmes où CG ne peut pas être appliqué. Il existe des méthodes comme BiCG-stab qui ne nécessitent pas d'augmentation linéaire de la mémoire comme GMRES, mais la convergence n'est pas aussi bonne que GMRES (parfois même avec GMRES redémarré).

— user1964178
source

2

Il existe des schémas IDR qui comblent le fossé entre GMRES et BiCG en termes d'économies de mémoire, de stabilité et de convergence: ta.twi.tudelft.nl/nw/users/gijzen/IDR.html Je ne suis pas sûr d'être d'accord que GMRES ne devrait pas être utilisé si CG pouvait l'être. Si vous pouvez effectuer une factorisation cholesky d'une matrice qui induit votre norme énergétique, vous pouvez l'injecter dans une itération symétrique de Lanczos et obtenir une solution de récurrence à trois termes qui se comportera de manière très similaire à CG. Bien sûr, CG est l'option la plus facile, mais l'option est disponible :)

— Reid.Atcheson

2

Si vous utilisez un lisseur Krylov, par exemple, alors GMRES est probablement préférable car il utilise une norme plus faible qui cible des valeurs propres plus grandes qui ont tendance à être plus fréquentes.

— Jed Brown