Tester si deux matrices 12x12 ont le même déterminant

On me donne une matrice symétrique, inversible, définie positive et dense. Je dois tester si où est la matrice des uns. $12 \times 12$ $Q$

det (Q) = det (12 I - Q - J) (1)

$\det(Q) = \det(12I-Q-J) \; \; (1)$

J

$J$

Je fais actuellement cela avec la bibliothèque de tatou mais cela s'avère trop lent. Le fait est que je dois le faire pour un billion de matrices et il s'avère que le calcul des deux déterminants est le goulot d'étranglement de mon programme. J'ai donc deux questions

Y a-t-il une astuce que je pourrais utiliser pour calculer le déterminant plus rapidement étant donné que je connaissais sa taille? Une extension désordonnée pour les matrices $12 \times12$ pourrait-elle fonctionner dans ce cas?
Existe-t-il un autre moyen efficace de tester l'égalité $(1)$

Éditer. Pour répondre aux commentaires. J'ai besoin de calculer tous les graphes connectés non auto-complémentaires $G$ d'ordre $13$ telle sorte que $G$ et $\overline{G}$ aient le même nombre d'arbres couvrant. La motivation pour cela peut être trouvée dans ce post de mathoverflow . En ce qui concerne la machine, je l'exécute en parallèle sur une machine à 8 cœurs 3,4 GHz.

Éditer. J'ai pu réduire le temps d'exécution prévu de 50% en créant un programme C pour calculer spécifiquement le déterminant d'une matrice $12 \times 12$ . Les suggestions sont toujours les bienvenues.

— Jernej
source

Comment lent est trop lent? Combien de temps faut-il sur quel matériel? Les milliers de milliards de ces sont-ils indépendants pour que vous puissiez calculer plusieurs de ces déterminants en parallèle? Si oui, quelle taille pouvez-vous utiliser sur une machine? Qu'est-ce qui a provoqué ce problème? Êtes-vous sûr de devoir calculer les déterminants?

Q

$Q$

— Bill Barth

À quelle fréquence (pour quelle fraction des cas) les déterminants sont-ils identiques / différents? S'ils sont différents la plupart du temps, il peut y avoir un test moins cher pour déterminer qu'ils peuvent être différents et vous vérifierez qu'ils ne sont identiques que si le premier test échoue. Inversement s'ils sont les mêmes la plupart du temps.

— Wolfgang Bangerth

Comme déjà demandé: pourriez-vous fournir des détails sur la provenance de ? Il y a peut-être une meilleure approche que de calculer aveuglément les déterminants.

Q

$\mathbf Q$

— JM

L'idée que cette condition doit être testée "pour un billion de matrices" suggère 1) que est connu apriori pour avoir une certaine structure spéciale (sinon l'attente que la condition tient au hasard est faible), et 2) qu'une meilleure approche pourrait être de caractériser toutes les matrices avec cette propriété (avec une formulation vérifiable efficacement).

Q

$Q$

Q

$Q$

— hardmath

@hardmath Oui, est une matrice entière ayant des entrées diagonales allant de à et comme éléments hors diagonale

Q

$Q$

1

$1$

12

$12$

- 1

$-1$

— Jernej

Réponses:

Puisque vous utilisez déjà C ++ et que vos matrices sont définies positives symétriques, j'effectuerais une factorisation pivotée de et également de . Ici, je suppose que est également défini positif, sinon le nécessitera un pivotement pour la stabilité numérique (il est également possible que même s'il n'est pas défini positif, le pivotement ne soit pas nécessaire, mais vous devez l'essayer). $LDL^T$ $Q$ $12I-Q-J$ $12I-Q-J$ $LDL^T$

C'est plus rapide qu'une factorisation LU, et aussi plus rapide que Cholesky car les racines carrées sont évitées. Le déterminant est simplement le produit des éléments de la matrice diagonale . Le code pour effectuer une factorisation LDL est si simple que vous pouvez l'écrire en moins de 50 lignes de C. La page Wikipedia à ce sujet décrit l'algorithme, et j'ai un code simple pour faire Cholesky ici . Vous pouvez grandement simplifier cela et le modifier pour éviter que la racine carrée implémente la factorisation $D$ $LDL^T$

Étant donné que vous pouvez également contrôler le format de stockage, vous pouvez optimiser davantage la routine pour stocker uniquement la moitié de la matrice et l'emballer dans un tableau linéaire pour maximiser la localité de la mémoire. J'écrirais également de simples routines de mise à jour personnalisées de produits scalaires et de rang 1, car les tailles de problème sont si petites que vous devriez laisser le compilateur aligner les routines pour réduire la surcharge des appels. Puisqu'il s'agit d'une boucle de taille fixe, le compilateur devrait être en mesure d'inclure et de dérouler automatiquement les choses le cas échéant.

J'éviterais d'essayer de jouer des tours pour profiter du fait que contient à l'intérieur de l'expression. Il est probable que pour de si petites tailles de problème, ces astuces finissent par être plus lentes que de simplement effectuer deux calculs déterminants distincts. Bien sûr, la seule façon de vérifier ces affirmations est de l'essayer. $12I-Q-J$ $Q$

— Victor Liu
source

J'appuie la recommandation de mettre en œuvre , alias Cholesky sans racine, car Armadillo ne semble pas avoir un moyen de tirer parti de la définition positive / dominance diagonale.

L D L^{T}

$LDL^T$

— hardmath

Sans quelques informations sur la construction de ces matrices symétriques réelles définies positives , les suggestions à faire sont nécessairement assez limitées. $12\times 12$

J'ai téléchargé le paquet Armadillo de Sourceforge et j'ai jeté un œil à la documentation. Essayez d'améliorer les performances du calcul séparé de et , où est la matrice de rang 1 de toutes les unités, en définissant par exemple . La documentation note que c'est la valeur par défaut pour les matrices jusqu'à la taille , donc par omission je suppose que l' option est une valeur par défaut pour le cas . $\det(Q)$ $\det(12I - Q - J)$ $J$ det(Q,slow=false) $4\times 4$ slow=true $12\times 12$

Ce qui est slow=true vraisemblablement fait est un pivot partiel ou total pour obtenir une forme d'échelon de ligne, à partir de laquelle le déterminant est facilement trouvé. Cependant, vous savez à l'avance que la matrice est définie positive, donc le pivotement n'est pas nécessaire pour la stabilité (au moins présumément pour la majeure partie de vos calculs. Il n'est pas clair si le paquet Armadillo lève une exception si les pivots deviennent trop petits, mais cela devrait être un fonctionnalité d'un package d'algèbre linéaire numérique raisonnable. EDIT: J'ai trouvé le code Armadillo qui implémente dans le fichier d'en-tête , en utilisant des modèles C ++ pour des fonctionnalités substantielles. Le paramètre ne semble pas affecter la façon dont un $Q$ detinclude\armadillo_bits\auxlib_meat.hppslow=false $12\times 12$ le déterminant sera fait parce que le calcul est "jeté sur un mur" vers LAPACK (ou ATLAS) à ce point sans indication que le pivotement n'est pas requis; voir det_lapacket ses invocations dans ce fichier.

L'autre point serait de suivre leur recommandation de construire le paquet Armadillo lié aux remplacements à haute vitesse pour BLAS et LAPACK, si vous les utilisez effectivement; voir Sec. 5 du fichier README.TXT d'Armadillo pour plus de détails. [L'utilisation d'une version 64 bits dédiée de BLAS ou LAPACK est également recommandée pour la vitesse sur les machines 64 bits actuelles.]

La réduction des lignes en échelon est essentiellement une élimination gaussienne et a une complexité arithmétique . Pour les deux matrices, cela équivaut alors au double de ce travail, ou . Ces opérations peuvent bien être le "goulot d'étranglement" dans votre traitement, mais il y a peu d'espoir que sans structure spéciale dans (ou certaines relations connues parmi les milliards de cas de test permettant l'amortissement), le travail pourrait être réduit à . $\frac{2}{3} n^3 + O(n^2)$ $\frac{4}{3} n^3 + O(n^2)$ $Q$ $O(n^2)$

A titre de comparaison, l'expansion par les cofacteurs d'une matrice générale impliqueles opérations de multiplication (et à peu près autant d'additions / soustractions), donc pour la comparaison ( vs ) favorise clairement l'élimination par rapport aux cofacteurs. $n\times n$ $n!$ $n=12$ $12! = 479001600$ $\frac{2}{3} n^3 = 1152$

Une autre approche nécessitant un travail consisterait à réduire en forme tridiagonale avec des transformations de Householder, ce qui met également en forme tridiagonale. Les calculs et peuvent ensuite être effectués dans des opérations . [L'effet de la mise à jour de rang un dans le deuxième déterminant peut être exprimé comme un facteur scalaire donné en résolvant un système tridiagonal.] $\frac{4}{3} n^3 + O(n^2)$ $Q$ $12I - Q$ $\det(Q)$ $\det(12I - Q - J)$ $O(n)$ $-J$

La mise en œuvre d'un tel calcul indépendant pourrait être utile pour vérifier les résultats des appels réussis (ou échoués) à la detfonction d'Armadillo .

Cas spécial: comme suggéré par un commentaire de Jernej, supposons que où comme avant est la matrice (rang 1) de tous les uns et est un matrice diagonale non singulière (positive). En effet, pour l'application proposée en théorie des graphes, il s'agirait de matrices entières. Alors une formule explicite pour est: $Q = D - J$ $J$ $D=\text{diag}(d_1,\ldots,d_n)$ $\det(Q)$

det (Q) = (\prod_{i = 1}^{n} d_{i}) (1 - \sum_{i = 1}^{n} d_{i}^{- 1})

$\det(Q) = \left(\prod_{i=1}^n d_i \right)\left(1 - \sum_{i=1}^n d_i^{-1} \right)$

Une esquisse de sa preuve donne l'occasion d'illustrer une applicabilité plus large, c'est-à-dire chaque fois que a un déterminant connu et que le système est rapidement résolu. Commencez par prendre en compte: $D$ $Dv = (1\ldots 1)^T$

det (D - J) = det (D) \cdot det (I - D^{- 1} J)

$\det(D - J) = \det(D) \cdot \det(I - D^{-1}J)$

Maintenant est à nouveau rang 1, à savoir . Notez que le deuxième déterminant est simplement: $D^{-1}J$ $(d_1^{-1}\ldots d_n^{-1})^T(1\ldots 1)$

f (1) = det (I - D^{- 1} J)

$f(1) = \det(I- D^{-1}J)$

où est le polynôme caractéristique de . En tant que matrice de rang 1, doit avoir (au moins) facteurs de pour tenir compte de son espace nul. La valeur propre "manquante" est , comme le montre le calcul: $f(x)$ $D^{-1}J$ $f(x)$ $n-1$ $x$ $\sum d_i^{-1}$

D^{- 1} J (d_{1}^{- 1} \dots d_{n}^{- 1})^{T} = (\sum d_{i}^{- 1}) (d_{1}^{- 1} \dots d_{n}^{- 1})^{T}

$D^{-1}J\; (d_1^{-1}\ldots d_n^{-1})^T = \left(\sum d_i^{-1} \right) (d_1^{-1}\ldots d_n^{-1})^T$

Il s'ensuit que le polynôme caractéristique , et est comme indiqué ci-dessus pour , . $f(x) = x^{n-1} (x - \sum d_i^{-1})$ $f(1)$ $\det(I - D^{-1}J)$ $1 - \sum d_i^{-1}$

Notez également que si , alors , une matrice diagonale dont le déterminant est simplement le produit de ses entrées diagonales. $Q = D-J$ $12I - Q - J = 12I - D + J - J = 12I - D$

— hardmath
source

Hm .. est en fait où est la matrice d'adjacence de donc je pense que ce résultat peut ne pas être correct. En particulier, cela impliquerait que le nombre d'arbres couvrant un graphe est déterminé par sa séquence de degrés qui ne tient pas.

Q

$Q$

D - A

$D-A$

A

$A$

G

$G$

G

$G$

— Jernej

Les entrées hors diagonale de contiendront alors généralement 0 ainsi que -1. La décomposition suggérée par Victor tire parti de la symétrie et réduit le terme principal du nombre d'opérations de à . Il existe une approche en nombres entiers exacte, mais elle n'est probablement pas nécessaire pour votre matrice de taille modeste et vos entrées. Si je comprends la construction, est défini positif pour la même raison que est.

Q

$Q$

L D L^{T}

$LDL^T$

\frac{2}{3} n^{3}

$\frac{2}{3}n^3$

\frac{1}{3} n^{3}

$\frac{1}{3}n^3$

12 I - Q - J

$12I-Q-J$

Q

$Q$

— hardmath

@Jernej: Si vous pensez que quelque chose que j'ai déclaré est incorrect, j'ai créé une salle de chat basée sur cette question où la discussion peut être discutée sans commentaires inutiles ici.

— hardmath

Si vous avez une façon structurée d'énumérer les graphiques dont vous souhaitez calculer les déterminants, vous pourriez peut-être trouver des mises à jour de bas rang qui vous transfèrent d'un graphique à un autre.

Si tel est le cas, vous pouvez alors utiliser le lemme déterminant de matrice pour calculer à moindre coût le déterminant du graphique suivant à énumérer en utilisant votre connaissance du déterminant du graphique actuel.

Autrement dit, pour une matrice et des vecteurs : Ceci peut être généralisé si U et V sont matrices et est : $A$ $u,v$

det (A + u v^{T}) = (1 + v^{T} A^{- 1} u) det (A)

$\det(A+uv^T)=(1+v^T A^{-1} u)\det(A)$

n \times m

$n \times m$

A

$A$

n \times n

$n \times n$

det (A + U V^{T}) = det (I_{m} + V^{T} A^{- 1} U) det (A)

$\det(A+UV^T)=\det(I_m + V^TA^{-1}U)\det(A)$

Pour calculer efficacement l'inverse, vous pouvez utiliser la formule de Sherman-Morrison pour obtenir l'inverse de la matrice suivante à partir de la matrice actuelle:

(A + u v^{T})^{- 1} = A^{- 1} - \frac{A^{- 1} u v^{T} A^{- 1}}{1 + v^{T} A^{- 1} u}

$(A+uv^T)^{-1}=A^{-1}-\frac{A^{-1} uv^T A^{-1}}{1+v^T A^{-1} u}$

— Richard
source