Comprendre comment Numpy fait SVD

J'ai utilisé différentes méthodes pour calculer à la fois le rang d'une matrice et la solution d'un système matriciel d'équations. Je suis tombé sur la fonction linalg.svd. En comparant cela à mes propres efforts pour résoudre le système avec l'élimination gaussienne, cela semble être à la fois plus rapide et plus précis. J'essaie de comprendre comment cela est possible.

Pour autant que je sache, la fonction linalg.svd utilise un algorithme QR pour calculer les valeurs propres de ma matrice. Je sais comment cela fonctionne mathématiquement, mais je ne sais pas comment Numpy parvient à le faire si rapidement et sans perdre beaucoup de précision.

Donc ma question: comment fonctionne la fonction numpy.svd, et plus précisément, comment parvient-elle à le faire rapidement et avec précision (par rapport à l'élimination gaussienne)?

Il y a un certain nombre de problèmes dans votre question.

N'utilisez pas d'élimination gaussienne (factorisation LU) pour calculer le rang numérique d'une matrice. La factorisation LU n'est pas fiable à cet effet en arithmétique à virgule flottante. Utilisez plutôt une décomposition QR révélatrice de rang (comme xGEQPXou xGEPQYdans LAPACK, où x est C, D, S ou Z, bien que ces routines soient difficiles à retrouver; voir la réponse de JedBrown sur une question connexe ), ou utilisez un SVD (décomposition de valeurs singulières, comme xGESDDou xGESVD, où x est à nouveau C, D, S ou Z). Le SVD est un algorithme plus précis et fiable pour la détermination du rang numérique, mais il nécessite plus d'opérations en virgule flottante.

Cependant, pour résoudre un système linéaire, la factorisation LU (avec pivotement partiel, qui est l'implémentation standard dans LAPACK) est extrêmement fiable dans la pratique. Il existe certains cas pathologiques pour lesquels la factorisation LU avec pivotement partiel est instable (voir la leçon 22 en Algèbre linéaire numériquepar Trefethen et Bau pour plus de détails). La factorisation QR est un algorithme numérique plus stable pour résoudre des systèmes linéaires, c'est probablement pourquoi il vous donne des résultats aussi précis. Cependant, cela nécessite plus d'opérations en virgule flottante que la factorisation LU par un facteur 2 pour les matrices carrées (je crois; JackPoulson peut me corriger à ce sujet). Pour les systèmes rectangulaires, la factorisation QR est un meilleur choix car elle donnera des solutions des moindres carrés à des systèmes linéaires surdéterminés. SVD peut également être utilisé pour résoudre des systèmes linéaires, mais il sera plus coûteux que la factorisation QR.

janneb a raison que numpy.linalg.svd est un wrapper xGESDDdans LAPACK. Les décompositions de valeurs singulières se déroulent en deux étapes. Premièrement, la matrice à décomposer est réduite à une forme bidiagonale. L'algorithme utilisé pour réduire à la forme bidiagonale dans LAPACK est probablement l'algorithme de Lawson-Hanson-Chan, et il utilise la factorisation QR à un moment donné. La leçon 31 en Algèbre linéaire numérique de Trefethen et Bau donne un aperçu de ce processus. Ensuite, xGESDDutilise un algorithme de division et de conquête pour calculer les valeurs singulières et les vecteurs singuliers gauche et droit à partir de la matrice bidiagonale. Pour obtenir des informations sur cette étape, vous devrez consulter Matrix Computations de Golub et Van Loan, ou Applied Numerical Linear Algebra de Jim Demmel.

Enfin, vous ne devez pas confondre les valeurs singulières avec les valeurs propres . Ces deux ensembles de quantités ne sont pas identiques. Le SVD calcule les valeurs singulières d'une matrice. Le calcul numérique de Cleve Moler avec MATLAB donne un bon aperçu des différences entre les valeurs singulières et les valeurs propres . En général, il n'y a pas de relation évidente entre les valeurs singulières d'une matrice donnée et ses valeurs propres, sauf dans le cas des matrices normales , où les valeurs singulières sont la valeur absolue des valeurs propres.

En raison du libellé de votre question, je suppose que votre matrice est carrée. Les routines SVD de LAPACK, telles que zgesvd , procèdent essentiellement en trois étapes pour les matrices carrées:

1. Calculer implicitement des matrices unitaires $U_A$ et $V_A$, en tant que produits de Householder se transforme, de sorte que la matrice générale $A$ est réduit à une vraie matrice bidiagonale supérieure $B := U_A^H A V_A$. A la sortie de ce sous-programme, les vecteurs Householder (normalisés pour que leur première entrée soit implicitement un) pour$U_A$ et $V_A$ sont respectivement stockés dans les parties de $B$en dessous et à droite de la principale et de la super-diagonale. Cette étape nécessite$O(n^3)$ travail.
2. A variation on an algorithm for computing the eigenvalue decomposition of a real symmetric tridiagonal matrix is used to compute a bidiagonal SVD. Though the best-known algorithm for real symmetric tridiagonal EVP's (MRRR) is not yet, to my knowledge, stable for the bidiagonal SVD, there is an interesting discussion here. LAPACK currently uses a divide and conquer approach for the bidiagonal SVD. The bidiagonal SVD yields $\{U_B,V_B,\Sigma\}$ such that $B = U_B \Sigma V_B^H$. This step will require $O(n^2)$ work when MRRR is made stable for SVD, but currently requires as much as $O(n^3)$ work.
3. This step is trivial. Since $U_A B V_A^H = A$, $A = (U_A U_B) \Sigma (V_A V_B)^H$, so that the SVD can be explicitly formed after applying the Householder transforms which implicitly define $U_A$ and $V_A$ to $U_B$ and $V_B$, respectively. This step required $O(n^3)$ work.

numpy.linalg.svd is a wrapper around {Z,D}GESDD from LAPACK. LAPACK, in turn, is very carefully written by some of the world's foremost experts in numerical linear algebra. Indeed, it'd be very surprising if someone not intimately familiar with the field would succeed in beating LAPACK (either in speed or accuracy).

As for why QR is better than Gaussian elimination, that is probably more appropriate for /scicomp//