Numéro de condition des formulations A'A et AA '

9

Il est montré (Yousef Saad, Méthodes itératives pour les systèmes linéaires clairsemés , p. 260) que $cond(A'A) \approx cond(A)^2$

Est-ce également vrai pour les ? $AA'$

Dans le cas où est avec , j'observe que $A$ $N\times M$ $N \ll M$ $cond(A'A) \gg cond(AA')$

Cela signifie-t-il que la formulation en termes d' est préférable dans ce cas? $AA'$

linear-algebra condition-number

— Alexandre
source

2

Vous comparez les nombres de conditions de deux matrices avec des tailles très différentes. Sans expliquer pourquoi, il semble que cette comparaison ne soit probablement pas significative. Certes, si vous pouvez accomplir ce dont vous avez besoin en utilisant la matrice beaucoup plus petite, vous devriez (même si le conditionnement était similaire).

— David Ketcheson

1

La nouvelle réponse de Stefano M ci-dessous est correcte. Veuillez le lire et voter.

— David Ketcheson

6

Si avec , alors pour que ne peut pas être de rang complet, c'est-à-dire qu'il est singulier. $A\in\mathbb{R}^{N\times M}$ $N<M$

r a n k (A^{T} A) = r a n k (A A^{T}) = r a n k (A) \leq N < M

$\mathop{\mathrm{rank}}(A^TA) = \mathop{\mathrm{rank}}(AA^T) = \mathop{\mathrm{rank}}(A) \leq N < M$

A^{T} A \in R^{M \times M}

$A^TA \in \mathbb{R}^{M\times M}$

Par conséquent, le numéro de condition est . En raison de l'arithmétique de précision finie, si vous calculez dans matlab, vous obtenez un grand nombre, non . $\kappa_2(A^TA)=\infty$ cond(A'A)Inf

— Stefano M
source

@OscarB: les valeurs singulières de

sont que

, la

ème valeur singulière n'existe pas ! Votre dérivation est correcte, mais veuillez noter que si

,

sont les sv de

, alors

, tandis que

A

$A$

N

$N$

M

$M$

σ_{i}

$\sigma_i$

i = 1 \dots N

$i=1\dots N$

A

$A$

S S^{T} = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2})

$SS^T=\mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2)$

avec

zéros de fin.

S^{T} S = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2}, 0, \dots, 0)

$S^TS = \mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2, 0, \dots, 0)$

M - N

$M-N$

— Stefano M

8

Eh bien, le regard let à pourquoi a approximativement le nombre au carré de l' état d' . En utilisant la décomposition SVD de , avec , , , nous pouvons exprimer comme $A^TA$ $A$ $A=USV^T$ $U \in \mathbb{R}^{N \times N}$ $S \in \mathbb{R}^{N \times M}$ $V \in \mathbb{R}^{M \times M}$ $A^T A$

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

Ce que nous arrivons à en notant que est orthonormé, de sorte que . De plus, nous notons que est une matrice diagonale, de sorte que la décomposition finale de peut être exprimée comme , avec signifiant , donnant une matrice diagonale avec les N premières valeurs singulières de carré dans la diagonale. Cela signifie que, puisque le numéro de condition est le rapport de la première et de la dernière valeur singulière, $U$ $U^T U=I$ $S$ $A^TA$ $V S^2 V^T$ $S^2$ $S^T S$ $S$ pour, $cond(A)=\frac{s_1}{s_N}$ $A \in \mathbb{R}^{N \times M}$

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

Maintenant, nous pouvons effectuer le même exercice avec : $AA^T$

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

Ce qui signifie que nous obtenons le résultat , puisquesignifie ici, une différence subtile par rapport à la notation ci-dessus. $cond(AA^T)=\frac{s_1^2}{s_N^2}$ $S^2$ $SS^T$

Mais notez cette subtile différence! Pour , le numéro de condition a la M'th valeur singulière dans le dénominateur, tandis que a la N'th singularité. Cela explique pourquoi vous voyez des différences significatives dans le nombre de conditions - sera en effet « meilleure condition » que . $A^TA$ $AA^T$ $AA^T$ $A^TA$

Pourtant, David Ketcheson avait raison - vous comparez les nombres de conditions entre deux matrices très différentes. En particulier, ce que vous pouvez accomplir avec ne sera pas la même chose que ce que vous pouvez accomplir avec . $A^TA$ $AA^T$

— OscarB
source

Voilà une excellente explication! Je vois clairement la différence maintenant. La matrice A est utilisé pour construire des équations normales et avec de légères modifications , vous pouvez aussi le formuler comme

, et non classique

. Pouvez-vous également dire s'il est avantageux d'utiliser un solveur comme LSQR au lieu de résoudre des équations normales? Depuis LSQR ne nécessite pas du tout de construire ce produit.

A A^{'}

$AA'$

A^{'} A

$A'A$

— Alexander

Heureux que cela ait du sens. En général, vous devez considérer le conditionnement du problème. Mais, si ce n'est pas un problème, vous pouvez utiliser soit des équations normales / QR-factorisation (de A) / LSQR, en fonction de la taille du problème (entre autres). À moins que votre problème soit important ou mal conditionné, j'appliquerais probablement la factorisation QR, mais sans plus de connaissances sur le problème que vous essayez de résoudre, c'est difficile à dire. Je suis sûr que d'autres ayant plus d'expérience pourraient fournir des conseils plus détaillés.

— OscarB

\approx 10^{7}

$\approx 10^7$

c o n d (A) < c o n d (A A^{T}) < c o n d (A^{T} A)

$cond(A) < cond(AA^T) < cond(A^T A)$

N < M

$N < M$ ), alors l'utilisation de LSQR semble toujours préférable, car vous n'avez pas du tout besoin de former un produit. La question est de savoir si les solutions obtenues avec des équations normales et LSQR sont identiques?

— Alexander

Eh bien, si je comprends bien, LSQR fournira une solution identique aux équations normales après "infiniment" d'itérations avec une précision exacte. Cependant, pour les problèmes mal posés, la solution d'équations normales n'est pas celle que vous souhaitez. Au lieu de cela, vous souhaitez utiliser LSQR pour itérer jusqu'à ce que la semi-convergence soit atteinte. Cependant, contrôler les algorithmes itératifs dans les problèmes mal posés est un tout autre jeu de balle. En outre, selon le coût de votre produit matriciel-vecteur et le nombre d'itérations (et donc de matvecs) nécessaires, une solution tikhonov directe avec bidiagonalisation pourrait être meilleure.

— OscarB

Super explication. +1 pour vous monsieur!

— meawoppl

2

$\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$

A = (\begin{matrix} ϵ & 1 \\ 0 & ϵ \end{matrix}), ϵ ≪ 1

$\newcommand\bigO{\mathcal{O}}A = \begin{pmatrix} \epsilon & 1 \\ 0 & \epsilon \end{pmatrix}, \quad \epsilon \ll 1$

$\cond A^T A = \bigO(\epsilon^{-4})$ $\cond A^2 = \bigO(\epsilon^{-2})$

— Jed Brown
source

A^{2}

$A^2$

A^{T} A

$A^T A$

[c o n d (A)]^{2}

$[\mathrm{cond}(A)]^2$

@StefanoM Merci, il semble que j'ai mal lu, bien que la discussion n'ait pas été la seule.

— Jed Brown

1

En arithmétique exacte cond (A ^ 2) = cond (A'A) = cond (AA '), voir par exemple. Golub et van Loan, 3e éd., P70. Ce n'est pas vrai en arithmétique à virgule flottante si A est presque déficient en rang. Le meilleur conseil est de suivre les recettes de livres ci-dessus lors de la résolution des problèmes des moindres carrés, l'approche la plus sûre étant SVD, p257. Utilisez \ varepsilon-rank à la place lors du calcul de SVD, où \ varepsilon est la résolution de vos données matricielles.

— Artan
source

Je suis désolé, j'ai regardé Golub et Van Loan 3e éd p. 70, et n'a rien trouvé pour sauvegarder l'instruction cond (A ^ 2) = cond (A ^ TA) = cond (AA ^ T). Pourriez-vous être plus précis avec votre référence?

— OscarB

Il n'y a pas de déclaration ici, mais vous pouvez déduire du théorème 2.5.2 et du pseudoinverse, section 5.5.4 que cond (AA ') = cond (A'A). La raison pour laquelle je prends pseudoinverse est que c'est ce qui compte pour le problème des moindres carrés en main. L'égalité après cond (A ^ 2) devrait être \ approx, désolé pour la faute de frappe.

— Artan

Non, cette réponse est totalement incorrecte. Voir mon contre-exemple.

— Jed Brown

Saad doit avoir fait une telle remarque par rapport à un contexte spécifique. Ce qui est pertinent pour la question à l'examen, c'est l'argument de la procédure.

— Artan