Quel est le surcoût de la multiplication matricielle clairsemée

10

La multiplication matricielle (Mat * Mat et Mat * Vec) est-elle proportionnelle au nombre de non-zéros ou à la taille de la matrice? Ou une combinaison des deux.

Et la forme.

Par exemple, j'ai une matrice 100 x 100 contenant 100 valeurs ou une matrice 1000 x 1000 contenant 100 valeurs.

Lors de la mise au carré de ces matrices (ou en les multipliant par des matrices similaires avec une rareté similaire), la première (100x100) sera-t-elle plus rapide que la seconde (1000x1000)? Cela dépend-il de l'emplacement des valeurs?

Si cela dépend de l'implémentation, je suis intéressé par la réponse pour PETSc.

linear-algebra performance sparse-matrix

— Andrew Spott
source

11

Le coût de la multiplication matricielle-vectorielle clairsemée évolue linéairement avec le nombre d'entrées non nulles, car chaque entrée est multipliée une fois par une entrée dans le vecteur.

Le coût de la multiplication matrice-matrice clairsemée dépend fortement de la structure des non-zéros. Par exemple, envisagez de mettre au carré une matrice clairsemée qui a une structure en pointe de flèche : $A$

A = (\begin{array}{ccccc} δ_{1} & β_{1} \\ δ_{2} & β_{2} \\ ⋱ & ⋮ \\ δ_{n - 1} & β_{n - 1} \\ γ_{1} & γ_{2} & \dots & γ_{n - 1} & δ_{n} \end{array}),

$A = \left(\begin{array}{ccccc} \delta_1 & & & & \beta_1 \\ & \delta_2 & & & \beta_2 \\ & & \ddots & & \vdots \\ & & & \delta_{n-1} & \beta_{n-1} \\ \gamma_1 & \gamma_2 & \cdots & \gamma_{n-1} & \delta_n \end{array}\right),$

alors a nonzeros, mais est dense. Il existe une interprétation bien connue du graphique de ce phénomène: chaque chemin de longueur 1 ou 2 dans le graphique de devient une arête dans le graphique de (c'est-à-dire une entrée non nulle dans ). $A$ $O(n)$ $A^2$ $A$ $A^2$ $A^2$

— Jack Poulson
source

4

Premièrement, cela dépend de la mise en œuvre. Si vous implémentez une matrice clairsemée en tant que matrice dense et remplissez les non-zéros, elle sera mise à l'échelle avec la taille globale de la matrice. S'il est stocké sous forme de non-zéros, il évoluera en fonction du temps d'accès en fonction de la taille de la matrice.

$O(r^2 n^2)$

Une chose à noter, cependant, est qu'il est inutile de stocker ce qui n'est pas là; si vous vous souciez de cette performance, pourquoi stockez-vous 100 valeurs pour une matrice 1000x1000? Cela signifie qu'au moins 90% des lignes / colonnes n'ont aucune valeur différente de zéro et pourraient être entièrement supprimées de la matrice. Si le modèle des valeurs non nulles ne change pas, envisagez de supprimer les lignes toujours toutes nulles de ceci et de la matrice cible; il supprimera environ 90% de l'effort, laissant les performances des deux matrices (100 ² , 1000 ² ) globalement équivalentes.

— Phil H
source

Les lignes et colonnes vides ont souvent une fonction par rapport à un problème (c'est-à-dire en gardant un mappage uniforme entre le numéro de ligne et l'emplacement dans une image par exemple) Il y aura cependant un compromis à ne pas supprimer.

— meawoppl

Exactement; aggraver vos performances d'exécution d'environ 10 fois juste pour maintenir un mappage que vous pouvez stocker dans une seule matrice de 100 pouces n'est pas un compromis normal. Comme la question portait sur les performances en tant que taille de blanc des échelles matricielles, c'est un point assez important en particulier pour PETSc, comme il l'a demandé.

— Phil H

3

Un modèle complet de performance SpMV est donné dans cet article . Cela montre clairement que le limiteur principal est la bande passante, bien que vous puissiez réduire la charge en utilisant plusieurs vecteurs. Après cela, vous rencontrez des limites de problème d'instructions et une limite sur les instructions d'écriture en suspens, je crois.

— Matt Knepley
source