La solution d'un système d'équations linéaire peut-elle être approchée uniquement pour les premières variables?

15

J'ai un système linéaire d'équations de taille mxm, où m est grand. Cependant, les variables qui m'intéressent ne sont que les n premières variables (n est petit par rapport à m). Existe-t-il un moyen d'approximer la solution pour les premières valeurs m sans avoir à résoudre l'ensemble du système? Dans l'affirmative, cette approximation serait-elle plus rapide que la résolution du système linéaire complet?

linear-algebra approximation

— Paul
source

2

Sauf si votre fonction de forçage est également limitée aux n premières variables. Si c'est le cas, vous pouvez former le complément Schur, bien qu'il soit probablement dense. Si votre opérateur d'origine est rare, cela n'en vaut peut-être pas la peine.

— Jack Poulson

1

Je suppose que vous pourriez utiliser l'élimination gaussienne à partir du coin inférieur droit de la matrice. Ce serait ~ 2x plus rapide que l'élimination gaussienne régulière si vous ne vous souciez que des premiers éléments et arrêtez-vous à mi-chemin. Je ne sais pas comment cela se comparerait aux méthodes itératives.

— Dan

4

@OscarB: S'il vous plaît non. La règle de Cramer est une atrocité en arithmétique à virgule flottante. Je n'ai jamais entendu parler de son utilisation pour des calculs sérieux, et il faut beaucoup de réflexion pour éviter la complexité factorielle , où il n'est toujours pas compétitif avec l'élimination gaussienne.

— Jack Poulson

1

@Paul: La plupart des réductions d'ordre de modèle sont utilisées dans le contexte de grands systèmes ODE ou DAE. Parfois, les méthodologies de réduction sont motivées par les systèmes ODE ou DAE qui résultent de la discrétisation des PDE. Je n'ai pas vu de réduction de modèle utilisée sur des équations purement algébriques. (Si vous en avez, veuillez m'envoyer des références, car je fais ma thèse sur les méthodes de réduction de modèles et serais très intéressé de le voir.) Si vous le souhaitez, je pourrais esquisser à quoi pourrait ressembler la réduction de modèles si nous traitons équations algébriques comme cas dégénéré d'un système d'équations différentielles-algébriques.

— Geoff Oxberry

1

@JackPoulson - cela vous dérange de résumer votre commentaire en tant que réponse? Je pense que c'est la solution la plus correcte et je ne veux pas qu'elle soit perdue dans les commentaires.

— Aron Ahmadia

13

Comme d'autres l'ont souligné, cela est difficile à faire avec un solveur direct. Cela dit, ce n'est pas si difficile à faire avec des solveurs itératifs. À cette fin, notez que la plupart des solveurs itératifs minimisent d'une manière ou d'une autre l'erreur par rapport à une norme. Souvent, cette norme est soit induite par la matrice elle-même, mais parfois c'est aussi juste la norme du vecteur l2. Mais cela ne doit pas être le cas: vous pouvez choisir la norme dans laquelle vous souhaitez minimiser l'erreur (ou le résiduel), et vous pouvez, par exemple, choisir une norme dans laquelle vous pesez les composants qui vous intéressent avec 1 et tous les autres avec 1e-12, par exemple quelque chose comme (1e-24) et produit scalaire correspondant. Ensuite, écrivez toutes les étapes du solveur itératif par rapport à cette norme et produit scalaire, et vous obtenez un solveur itératif qui accorde beaucoup plus d'attention aux éléments vectoriels qui vous intéressent qu'aux autres. $|| x ||^2 = \sum_{i=1}^5 x_i^2 +$ $\sum_{i=6}^N x_i^2$

La question est bien sûr de savoir si vous avez besoin de moins d'itérations qu'avec le produit standard / scalaire qui pèse tous les composants de manière égale. Mais cela devrait en effet être le cas: disons que vous ne vous souciez que des cinq premiers éléments vectoriels. Ensuite, vous devez avoir au plus cinq itérations pour réduire l'erreur d'un facteur 1e12, car cinq itérations sont nécessaires pour le système 5x5 qui les décrit. Ce n'est pas une preuve, mais je suis assez certain que vous devriez en effet vous en tirer avec un nombre d'itérations bien plus petit si le poids dans la norme (1e-12 ci-dessus) est plus petit que la tolérance avec laquelle vous voulez résoudre le système linéaire de manière itérative .

— Wolfgang Bangerth
source

2

Hmm, bon point. Je serais intéressé à voir un exemple réel, car je m'inquiète quelque peu des effets de ne tenter de résoudre que quelques degrés de liberté; même si le résidu peut être petit, la norme de l'erreur est peut-être encore assez grande (faire pour ignorer efficacement la plupart de l'opérateur).

— Jack Poulson

Intuitivement, cela ne semble fonctionner que si les composants du très petit système dominent vraiment la réponse dans un sens L2 (ou la norme dans laquelle vous comprenez que votre erreur doit être mesurée). Sinon, je pense que la préoccupation de Jack est valide, mais je serais certainement intéressé à voir une preuve numérique de cela ...

— Aron Ahmadia

Il faudrait s'assurer de prendre une méthode qui minimise l' erreur , pas le résiduel. Je pense que MinErr pourrait être un bon point de départ.

— Wolfgang Bangerth, le

@WolfgangBangerth: Je ne connais pas MINERR: est- ce la référence principale?

— Jack Poulson

1

Même cela ne suffit pas, car vous serez inexact. Vous ne pouvez pas obtenir avec précision quelques composants en utilisant cette pondération.

— Matt Knepley

17

Former le complément Schur

Supposons que vous ayez permuté et partitionné votre matrice sous la forme

A = (\begin{array}{cc} A_{11} & A_{12} \\ A_{21} & A_{22} \end{array}),

$A=\left(\begin{array}{cc}A_{11} & A_{12} \\ A_{21} & A_{22}\end{array}\right),$

de telle sorte que contient vos degrés de liberté d'intérêt et est beaucoup plus petit que , alors on peut former le complément Schur $A_{22}$ $A_{11}$

S_{22} := A_{22} - A_{21} A_{11}^{- 1} A_{12},

$S_{22} := A_{22} - A_{21} A_{11}^{-1} A_{12},$

soit par une factorisation LU partielle droite, soit par la formule explicite, puis peut être compris dans le sens suivant: $S_{22}$

S_{22} x = y \to (\begin{array}{cc} A_{11} & A_{12} \\ A_{21} & A_{22} \end{array}) (\begin{matrix} ⋆ \\ x \end{matrix}) = (\begin{matrix} 0 \\ y \end{matrix}),

$S_{22} x = y \;\;\rightarrow\;\; \left(\begin{array}{cc}A_{11} & A_{12}\\ A_{21} & A_{22}\end{array}\right) \left(\begin{array}{c}\star\\ x\end{array}\right)=\left(\begin{array}{c}0\\ y\end{array}\right),$

où représente la partie «sans intérêt» de la solution. Ainsi, à condition qu'un côté droit ne soit pas nul dans les degrés de liberté du complément Schur , il suffit de résoudre contre pour obtenir la portion de la solution correspondant à ces degrés de liberté. $\star$ $S_{22}$ $S_{22}$

Complexité informatique dans un cas dense non structuré

Réglage de à la hauteur de et à la hauteur de , la méthode de référence pour le calcul de est d'abord facteur (Ignorons pivotant pour le moment) à peu près travaux, puis former $N$ $A$ $n$ $A_{22}$ $S_{22}$ $L_{11} U_{11} := A_{11}$ $2/3 (N-n)^3$

S_{22} := A_{22} - (A_{21} U_{11}^{- 1}) (L_{11}^{- 1} A_{12}) = A_{22} - A_{21} A_{11}^{- 1} A_{12}

$S_{22} := A_{22} - (A_{21} U_{11}^{-1})(L_{11}^{-1} A_{12}) = A_{22} - A_{21} A_{11}^{-1} A_{12}$

en utilisant deux résolutions de triangle nécessitant travaux chacune, puis effectuer la mise à jour vers en travaux. $n(N-n)^2$ $A_{22}$ $2n^2 (N-n)$

Ainsi, le travail total est d' environ . Quand est très faible, , de sorte que le coût peut être considérée comme à peu près , qui est le coût d'une factorisation complète. $2/3 (N-n)^3 + 2n(N-n)^2 + 2n^2 (N-n)$ $n$ $N-n \approx N$ $2/3 N^3$

L'avantage est que, s'il y a un très grand nombre de côtés droits à résoudre avec le même système d'équations, alors pourrait potentiellement être réutilisé un grand nombre de fois, où chaque résolution ne nécessiterait que travail (plutôt que ) si est pris en compte. $S_{22}$ $2n^2$ $2N^2$ $S_{22}$

Complexité informatique dans le cas rare (typique)

Si votre système clairsemé est né d'un certain type d'approximation par différences finies ou éléments finis, les solveurs directs clairsemés seront presque certainement en mesure d'exploiter une partie de la structure; 2d systèmes peuvent être résolus avec travail et de stockage, tandis que les systèmes 3D peuvent être résolus avec de travail et de stockage. Les systèmes factorisés peuvent alors être résolus avec la même quantité de travail que les besoins de stockage. $O(N^{3/2})$ $O(N \log N)$ $O(N^2)$ $O(N^{4/3})$

Le point de faire apparaître les complexités de calcul est que, si et vous avez un système 2d, alors comme le complément de Schur sera probablement dense, la complexité de résolution étant donné le complément de Schur factorisé sera, qui ne manque qu'un facteur logarithmique par rapport à la résolution complète système! En 3D, il fauttravaillieu de. $n \approx \sqrt{N}$ $O(n^2) = O(N)$ $O(N)$ $O(N^{4/3})$

Il est donc important de garder à l’esprit que, dans votre cas où , il n'y aura des économies importantes que si vous travaillez dans plusieurs dimensions et que vous avez de nombreux problèmes à résoudre. $n=\sqrt{N}$

— Jack Poulson
source

1

Ceci est un excellent résumé de la méthode du complément schur et quand il est efficace sur le plan informatique de l'utiliser!

— Paul

6

L'approche de réduction du modèle

Depuis que Paul a demandé, je vais parler de ce qui se passe si vous utilisez des méthodes de réduction de modèle basées sur la projection sur ce problème. Supposons que vous puissiez trouver un projecteur tel que la plage de , notée , contienne la solution de votre système linéaire , et ait la dimension , où est le nombre d'inconnues pour lesquelles vous souhaitent résoudre dans un système linéaire. $\mathbf{P}$ $\mathbf{P}$ $\mathcal{R}(\mathbf{P})$ $\mathbf{Ax} = \mathbf{b}$ $k$ $k$

Une décomposition en valeurs singulières de donnera la matrice partitionnée suivante: $\mathbf{P}$

P = [\begin{array}{cc} V & * \end{array}] [\begin{array}{cc} d i a g (1_{k}) & 0 \\ 0 & 0 \end{array}] [\begin{matrix} W^{T} \\ * \end{matrix}] .

$\mathbf{P} = \left[ \begin{array}{cc}\mathbf{V} & * \end{array} \right]\left[\begin{array}{cc}\mathrm{diag}(\mathbf{1}_{k}) & \mathbf{0} \\ \mathbf{0} & \mathbf{0}\end{array}\right]\left[\begin{array}{c} \mathbf{W}^{T} \\ *\end{array}\right].$

Les matrices obscurcies par les étoiles comptent pour d'autres choses (comme l'erreur d'estimation, etc.), mais pour l'instant, nous éviterons de traiter des détails étrangers. Il s'ensuit que

P = {V W}^{T}

$\mathbf{P} = \mathbf{VW}^{T}$

est une décomposition de plein rang de . $\mathbf{P}$

Essentiellement, vous allez résoudre le système

P UNE X = P b

$\mathbf{PAx} = \mathbf{Pb}$

d'une manière intelligente, parce que et ont aussi la propriété que . En multipliant les deux côtés de par et en laissant est une approximation de rendements $\mathbf{V}$ $\mathbf{W}$ $\mathbf{W}^{T}\mathbf{V} = \mathbf{I}$ $\mathbf{PAx} = \mathbf{Pb}$ $\mathbf{W}^{T}$ $\mathbf{y} = \mathbf{V}\widehat{\mathbf{x}}$ $\mathbf{x}$

W^{T} UNE \hat{X} = W^{T} b .

$\mathbf{W}^{T}\mathbf{A}\widehat{\mathbf{x}} = \mathbf{W}^{T}\mathbf{b}.$

Résoudre pour , Prémultiplier par , et vous avez , votre approximation pour . $\widehat{\mathbf{x}}$ $\mathbf{V}$ $\mathbf{y}$ $\mathbf{x}$

Pourquoi l'approche du complément Schur est probablement meilleure

Pour commencer, vous devez choisir manière ou d'une autre. Si la solution de est dans , alors , et n'est pas une approximation. Sinon, , et vous introduisez une erreur d'approximation. Cette approche ne tire pas vraiment parti de la structure que vous avez mentionnée vouloir exploiter. Si nous choisissons tel que sa plage soit la base d'unité standard dans les coordonnées de vous souhaitez calculer, les coordonnées correspondantes de auront des erreurs. Vous ne savez pas comment choisir $\mathbf{P}$ $\mathbf{Ax} = \mathbf{b}$ $\mathcal{R}(\mathbf{P})$ $\mathbf{y} = \mathbf{x}$ $\mathbf{y}$ $\mathbf{y} \neq \mathbf{x}$ $\mathbf{P}$ $\mathbf{x}$ $\mathbf{y}$ . Vous pouvez utiliser un SVD de , par exemple, et sélectionner pour être le produit des premiersvecteurs singuliers gauches de et l'adjoint des premiersvecteurs singuliers droits de , en supposant que les vecteurs singuliers sont disposés par ordre décroissant de valeur singulière. Ce choix de projecteur équivaudrait à effectuer une décomposition orthogonale appropriée sur , et il minimiserait l'erreurL dans la solution approximative. $\mathbf{P}$ $\mathbf{A}$ $\mathbf{P}$ $k$ $\mathbf{A}$ $k$ $\mathbf{A}$ $\mathbf{A}$ $_{2}$

$\mathbf{V}$ $\mathbf{W}$ $\mathbf{P}$

Les inconvénients ressemblent beaucoup à l'approche de JackPoulson, sauf que vous ne tirez pas tout à fait parti de la structure que vous avez mentionnée.

— Geoff Oxberry
source

4

La réponse longue est ... en quelque sorte.

$k$

$n-k$ $n$

De plus, gardez à l'esprit que restreindre l'ordre dans lequel vous allez effectuer une rétro-substitution peut restreindre la forme de la matrice (cela enlève la possibilité d'échanger des colonnes), ce qui pourrait éventuellement conduire à un système mal conditionné, mais je ne suis pas sûr de cela - juste quelque chose à garder à l'esprit.

— drjrm3
source

O (n^{3})

$O(n^3)$

O (n^{2})

$O(n^2)$

n

$n$

c'est pourquoi la réponse est "en quelque sorte" au lieu de "oui" =)

— drjrm3

Il est logique que cela puisse être fait de cette façon ... Cependant, la majeure partie du calcul dans une élimination gaussienne est dans la phase d'élimination avant, ce qui donne une complexité O (n ^ 3) malgré la phase de substitution rétrograde tronquée. J'espérais qu'il y aurait une méthode plus rapide ...

— Paul