Existe-t-il des heuristiques pour optimiser la méthode de sur-relaxation successive (SOR)?

Si je comprends bien, la relaxation successive fonctionne en choisissant un paramètre $0\leq\omega\leq2$ et en utilisant une combinaison linéaire d'une itération (quasi) de Gauss-Seidel et de la valeur au pas de temps précédent ... c'est-à-dire

${u}^{k+1} = (\omega){u_{gs}}^{k+1} + (1-\omega)u^{k}$

Je dis «quasi» car ${u_{gs}}^{k+1}$ inclut les dernières informations mises à jour selon cette règle, à tout instant. (notez qu'à $\omega=1$ , c'est exactement gauss-seidel).

Dans tous les cas, j'ai lu que sur le choix optimal pour $\omega$ (de sorte que l'itération converge plus rapidement que tout autre) approche 2 pour le problème du poisson car la résolution spatiale approche de zéro. Existe-t-il une tendance similaire pour d'autres problèmes symétriques à dominante diagonale? Autrement dit, existe-t-il un moyen de choisir les oméga de manière optimale sans les intégrer dans un schéma d'optimisation adaptative? Existe-t-il d'autres heuristiques pour d'autres types de problèmes? Quels types de problèmes la sous-relaxation ( $\omega<1$ ) serait-elle optimale?

linear-algebra optimization iterative-method

— Paul
source

Pas tout à fait votre question, mais voir Salakhutdinov et Roweis, Adaptive Overrelaxed Bound Optimization Methods 2003, 8p. ( Les accélérations adaptatives ont un rapport qualité / prix élevé, mais sont afaik impossibles à analyser, donc hors sujet ici.)

— denis

Jacobi amorti

Supposons que la matrice possède diagonale . Si le spectre de se situe dans l'intervalle de l'axe réel positif, alors la matrice d'itération de Jacobi avec facteur d'amortissement a un spectre dans la plage , minimisant ainsi le rayon spectral avec $A$ $D$ $D^{-1}A$ $[a,b]$ $\omega$

B_{Jacobi} = je - ω {ré}^{- 1} UNE

$B_\text{Jacobi} = I - \omega D^{-1} A$

[1 - ω b, 1 - ω a]

$[1 - \omega b,1 - \omega a]$

donne un facteur de convergence de

ω_{opter} = \frac{2}{une + b}

$\omega_{\text{opt}} = \frac 2 {a + b}$

, alors ce facteur de convergence est très faible, comme prévu. Notez qu'il est relativement facile d'estimer

utilisant une méthode de Krylov, mais assez cher d'estimer

ρ_{opter} = 1 - \frac{2 une}{une + b} = \frac{b - une}{une + b} .

$\rho_\text{opt} = 1 - \frac{2a}{a+b} = \frac{b-a}{a+b}.$

a ≪ b

$a \ll b$

b

$b$

a

$a$

Sur-relaxation successive (SOR)

$D^{-1}A$ $\mu_\max$ $I - D^{-1} A$ $\mu_\max < 1$

ω_{opter} = 1 + {(\frac{μ_{max}}{1 + \sqrt{1 - μ_{max}^{2}}})}^{2}

$\omega_\text{opt} = 1 + \left( \frac{\mu_\max}{1 + \sqrt{1 - \mu_\max^2}} \right)^2$

ρ_{opter} = ω_{opter} - 1.

$\rho_\text{opt} = \omega_\text{opt} - 1.$

ω_{opt}

$\omega_\text{opt}$

μ_{max} \to 1

$\mu_\max \to 1$

commentaires

$\omega = 1$ $\omega <1$

$D^{-1}A$

B_{SOR} = 1 - {(\frac{1}{ω} ré + L)}^{- 1} UNE

$B_\text{SOR} = 1 - \left(\frac 1 \omega D + L\right)^{-1} A$

(\frac{1}{ω} D + L)^{- 1} A

$(\frac 1 \omega D + L)^{-1} A$

— Jed Brown
source

Je suis d'accord que ce n'est plus 1950: o), cependant, je ne suis pas d'accord pour dire qu'il n'est plus logique d'utiliser des solveurs itératifs de papeterie. Nous pouvons atteindre l'efficacité des manuels multigrilles en utilisant un solveur itératif stationnaire pour un solveur d'application d'ingénierie basé sur des solveurs de surface libre non linéaires d'ordre élevé (à la fois les écoulements potentiels et les équations d'Euler). L'efficacité était tout aussi bonne qu'une méthode de sous-espace GMRES krylov préconditionnée avec une précision atteignable (notre publication récente se trouve ici onlinelibrary.wiley.com/doi/10.1002/fld.2675/abstract servant de preuve de concept).

— Allan P. Engsig-Karup

Vous utilisez Gauss-Seidel comme un lisseur pour multigrille (c'est là que les méthodes comme SOR appartiennent). Si le multigrille fonctionne bien, une méthode externe de Krylov n'est également pas nécessaire (bien que votre article ne montre pas ces comparaisons). Dès que le multigrille commence à perdre de son efficacité (par exemple plus de 5 itérations pour atteindre une erreur de discrétisation), il est généralement utile d'enrouler une méthode Krylov autour du cycle multigrille.

— Jed Brown

La méthode entière est une multigrille p avec lissage de type GS, cependant, la méthode complète peut être écrite comme une méthode itérative stationnaire car tous les opérateurs sont constants. Vous pouvez le voir comme une méthode Richardson préconditionnée avec M un préconditionneur construit à partir de la méthode multigrille. Des analyses ont été effectuées mais ne sont pas encore publiées. En fait, ce travail est allé dans l'autre sens que vous proposez. La méthode krylov dans ce travail (un GMRES) a été abandonnée, puis elle a été transformée en une méthode multigrille d'ordre élevé, car nous avons constaté qu'elle était tout aussi efficace (et avec des besoins en mémoire réduits).

— Allan P. Engsig-Karup

p

$p$

h p

$hp$

Notez que dans les lisseurs multigrilles, il est parfois préférable (si l'architecture le permet) de rendre le couplage d'ordre élevé / d'ordre faible multiplicatif. Cela étend également la formulation "Richardson préconditionnée". (J'ai eu une discussion lors d'une conférence la semaine dernière avec un gars qui voulait voir essentiellement toutes les méthodes comme Richardson préconditionné avec itération imbriquée, ce qui, je ne pense pas, est un avantage particulier par rapport aux autres déclarations de composition du solveur. Je ne sais pas si c'est pertinentes pour vous, mais vos points m'ont rappelé la discussion.)

— Jed Brown