Déterminer rapidement si une matrice dense est de bas rang ou non

13

Dans un projet logiciel sur lequel je travaille, certains calculs sont beaucoup plus faciles pour les matrices denses de bas rang. Certaines instances problématiques impliquent des matrices denses de bas rang, mais elles me sont données dans leur intégralité, plutôt que comme des facteurs, donc je vais devoir vérifier le rang et factoriser la matrice si je veux profiter de la structure de bas rang .

Les matrices en question sont généralement entièrement ou presque entièrement denses, avec n allant de cent à quelques milliers. Si une matrice a un rang bas (disons moins de 5 à 10), alors le calcul de la SVD et son utilisation forment une factorisation de bas rang en vaut la chandelle. Cependant, si la matrice n'est pas de bas rang, alors l'effort serait gaspillé.

J'aimerais donc trouver un moyen rapide et raisonnablement fiable de déterminer si le rang est bas ou non avant d'investir l'effort de faire une factorisation SVD complète. Si à un moment donné, il devient clair que le rang est supérieur au seuil, le processus peut s'arrêter immédiatement. Si la procédure déclare par erreur que la matrice est de bas rang alors qu'elle ne l'est pas, ce n'est pas un gros problème, car je ferais toujours une SVD complète pour confirmer le bas rang et trouver une factorisation de bas rang.

Les options que j'ai envisagées incluent une factorisation LU ou QR révélatrice de rang suivie d'une SVD complète comme vérification. Y a-t-il d'autres approches que je devrais envisager?

— Brian Borchers
source

8

Il y a une astuce intéressante que j'ai récemment apprise de cet article . Vous commencez à faire un QR révélateur de rang et vous vous arrêtez après les premières réflexions des ménage, lorsque vous avez une matrice de la forme avec triangulaire de taille , et typiquement non triangulaire (puisque nous nous sommes arrêtés après les premières itérations de notre boucle principale). À ce stade, vous vérifiez si : s'il est valide, alors est à distance au plus d'une matrice de rang $k$

[\begin{matrix} R_{1} & R_{12} \\ 0 & R_{22} \end{matrix}],

$\begin{bmatrix} R_1 & R_{12}\\ 0 & R_{22} \end{bmatrix},$

R_{1}

$R_1$

k \times k

$k\times k$

R_{22}

$R_{22}$

k

$k$

‖ R_{22} ‖ \leq ε

$\|R_{22}\| \leq \varepsilon$

A

$A$

ε

$\varepsilon$

\leq k

$\leq k$ ; sinon, il ne devrait pas l'être (sauf erreurs numériques).

Cette procédure coûte pour une matrice dense . $O(n^2k)$ $n\times n$

— Federico Poloni
source

C'est essentiellement l'approche que j'ai décrite dans la question. Je pense que la réponse proposée par Wolfgang Bangerth pourrait faire mieux que .

O (n^{2} k)

$O(n^{2}k)$

— Brian Borchers

7

Le problème, bien sûr, est que le calcul du vrai rang (par exemple, via une décomposition QR) n'est pas vraiment moins cher que le calcul d'une représentation de bas rang de la matrice.

Le mieux que vous puissiez faire est probablement d'utiliser un algorithme aléatoire pour trouver des approximations de bas rang. Ceux-ci peuvent, au moins en théorie, être beaucoup plus rapides que de travailler sur la matrice entière car, en substance, ils ne calculent que les décompositions pour les projections de la matrice sur des sous-espaces aléatoires.

Que cela en vaille la peine pour une matrice de taille peut être une bonne question, mais si vos problèmes deviennent vraiment importants, je soupçonne que cela en vaut la peine . $100\times 100$

— Wolfgang Bangerth
source

D'après ce que je sais de ces algorithmes, ils produisent une matrice de bas rang qui est raisonnablement proche en norme de la matrice donnée. J'ai besoin de savoir s'il y a (par exemple) une matrice de rang 10 ou moins qui est très proche de la matrice donnée (disons une erreur relative de 1.0e-10 ou mieux.)

— Brian Borchers

Oui, mais vous pouvez également faire une décomposition QR de la matrice projetée (de faible dimension) et si cette décomposition révèle un manque de rang complet, vous aurez également une matrice d'origine déficiente en rang. N'était-ce pas le critère dont vous aviez besoin pour faire une décomposition QR sur la matrice d'origine?

— Wolfgang Bangerth

Je peux voir que le rang de la matrice projetée est inférieur ou égal à

(le nombre de lignes dans la matrice aléatoire je multiplie par A) et le rang de A. S'il est de rang

, alors la matrice d'origine ne peut pas être de rang

ou moins. S'il est de rang inférieur à

j'aurais pu être malchanceux ou

était de rang inférieur à

. Trouver le rang de la matrice

par

peut être fait en temps

. Cependant, si la matrice aléatoire que je multiplie fois

est dense, la multiplication prend

k

$k$

k

$k$

k - 1

$k-1$

k

$k$

A

$A$

k

$k$

k

$k$

n

$n$

O (k^{2} n)

$O(k^{2}n)$

A

$A$

temps. Existe-t-il des matrices clairsemées qui préservent le rang avec une forte probabilité?

O (k n^{2})

$O(kn^{2})$

— Brian Borchers

Je ne sais pas. Je suis d'accord (et supposé impliquer) que l'algorithme ne peut vous dire que si une matrice n'est pas de plein rang. Il ne peut pas vous dire si la matrice est de rang complet sauf si vous prenez toutes les directions aléatoires

. J'espère simplement que vous obtiendrez une réponse pour

suffisamment petit où

.

k = n

$k=n$

k

$k$

k n^{2} ≪ n^{3}

$kn^2\ll n^3$

— Wolfgang Bangerth

1

Une autre approche qui mérite d'être essayée consiste à utiliser l'Approximation croisée adaptative (ACA). Il s'agit d'un algorithme assez populaire qui propose de nombreuses implémentations en ligne. Pour la référence, vous pouvez voir le papier original:

SA Goreinov, EE Tyrtyshnikov, NL Zamarashkin, "Une théorie des approximations de pseudosquelette," Linear Algebra Appl. , vol. 261, non. 1–3, p. 1–21, août 1997.

L'ACA et ses variations (disons ACA +, hybridation croisée HCA) peuvent être utilisés dans différents scénarios. Vous, ayant déjà calculé toute la matrice dense, est l'un des avantages, car vous pourrez calculer les résidus exactement si nécessaire.

$\mathcal O(Nr)$ $N$ $r(\epsilon)$ $r$ $\epsilon$ $\mathcal O(N^2r)$

— Anton Menshov
source

0

$A$ $\to 0$ $x \to A \, x$ $A$ $A^T A$

$( A^T A ) \to$ $A$

from scipy.sparse.linalg import svds
sing = svds( A, k=20, tol=1e-4, return_singular_vectors=False )  # v0=random
# runtimes on random-normal n x n:
# n = 100, 1k, 2k
#       5, 130, 770 ms

— denis
source