Besoin en mémoire pour une multiplication matricielle rapide

Supposons que nous voulons multiplier matrices. L'algorithme de multiplication à matrice lente s'exécute dans le temps et utilise la mémoire . La multiplication matricielle la plus rapide s'exécute dans le temps , où est la constante d'algèbre linéaire, mais que sait-on de sa complexité en mémoire? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

Il semble qu'il soit possible a priori que la multiplication matricielle rapide consomme mémoire. Y a-t-il une garantie que cela peut être fait dans la mémoire ? Est-il vrai que les algorithmes de multiplication matricielle actuellement connus utilisent la mémoire ? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(Je m'intéresse en fait à la multiplication matricielle rectangulaire, mais je suppose que la réponse serait la même dans ce cas que pour le cas carré, et le cas carré est mieux étudié.)

ds.algorithms linear-algebra

— David Harris
source

L'utilisation de l'espace est au maximum de pour tous les algorithmes de type Strassen (c'est-à-dire ceux basés sur la limite supérieure du rang de multiplication matricielle algébriquement). Voir Complexité spatiale de l'algorithme Coppersmith – Winograd $O(n^2)$

Cependant, j'ai réalisé dans ma réponse précédente que je n'avais pas expliqué pourquoi l'utilisation de l'espace était ... alors voici quelque chose de vague. Considérez ce que fait un algorithme de type Strassen. Il part d'un algorithme fixe pour multiplication de matrice qui utilise les multiplications pour une constante . En particulier, cet algorithme (quel qu'il soit) peut être écrit WLOG pour que: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Il calcule différentes matrices qui multiplient les entrées de la première matrice par différents scalaires et matrices partir de la deuxième matrice d'une forme similaire, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Il multiplie ces combinaisons linéaires , puis $L_i \cdot R_i$
Il multiplie les entrées de par divers scalaires, ajoute toutes ces matrices jusqu'à entrywise pour obtenir . $L_i \cdot R_i$ $A \cdot B$

(Il s'agit d'un algorithme dit "bilinéaire", mais il s'avère que chaque algorithme de multiplication matricielle "algébrique" peut être écrit de cette manière.) Pour chaque , cet algorithme n'a qu'à stocker le produit actuel et la valeur actuelle de (initialement définie sur tous les zéros) en mémoire à tout moment donné, de sorte que l'utilisation de l'espace est . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Étant donné cet algorithme fini, il est ensuite étendu à des matrices arbitraires , en divisant les grandes matrices en blocs de dimensions , en appliquant l' algorithme fini aux matrices de blocs et en appelant récursivement l'algorithme chaque fois qu'il a besoin de multiplier deux blocs. À chaque niveau de récursivité, nous devons conserver uniquement les éléments de champ en mémoire (stocker différentes matrices ). En supposant que l'utilisation de l'espace pour la multiplication de la matrice est $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ , l'utilisation de l'espace de cet algorithme récursif est , qui pour résout en . $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
source

Pour tout algorithme de style Strassen, cela me semble juste. Mais Coppersmith-Winograd a également prouvé que pour passer à faut en fait une séquence infinie d'algorithmes de style Strassen, dont chacun se rapproche de plus en plus du véritable exposant. En effet, à la fois les algorithmes de style CW et les algorithmes de style CU fournissent de telles séquences (bien qu'elles ne se rapprochent pas de , à notre connaissance). Au fil des logiques, il est possible que les constantes utilisées dans une telle séquence se développent très rapidement, de sorte que "l' algorithme " finisse par utiliser l' espace .

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

— Joshua Grochow

... Mais par votre argument, on peut toujours obtenir un algorithme dans le temps et l'espace pour tout .

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

— Joshua Grochow

@Joshua, les besoins en mémoire de ces algorithmes de type Strassen sont comme , où i est le numéro d'index de l'algorithme et f est calculable. Donc, si vous recherchez sur ces algorithmes à partir de et k est une fonction à croissance lente de n, alors le travail devient et la mémoire est .

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

— David Harris

@DavidHarris: Eh bien, bien sûr, tant que croît assez lentement par rapport à , à savoir, doit croître au plus aussi vite que . La question est, pour une famille donnée, ce qui est et à quelle vitesse croît. Mais rien ne garantit que croîtra assez lentement pour obtenir une utilisation globale de la mémoire ...

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

— Joshua Grochow

@Joshua. L'idée est que sur les entrées de longueur , nous recherchons les premiers putatifs de type Strassen, vérifions s'ils sont valides et choisissons celui qui est le plus rapide. Choisissez simplement en fonction de pour que . Puisque , cela implique que tout algorithme de type Strassen sera sélectionné suffisamment grand. Le temps passe donc aussi à .

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

— David Harris

Plus généralement, une multiplication matricielle rapide peut être effectuée sur processeurs en mémoire par processeur. Cependant, la communication entre les processeurs est alors sous-optimale. Une communication optimale peut être obtenue en utilisant plus de mémoire. Pour autant que je sache, on ne sait pas si une communication optimale et une mémoire optimale peuvent être obtenues simultanément. Les détails sont dans http://dx.doi.org/10.1007/PL00008264 $p$ $O(n^2/p)$

— Alexander Tiskin
source