SVD d'une matrice de données (PCA) après lissage

Disons que j'ai une matrice de données centrée avec SVD .$n \times m$$A$$A = U \Sigma V^{T}$

Par exemple, colonnes (mesures) qui sont des spectres avec n = 100 fréquences différentes. La matrice est centrée de sorte que les lignes de la matrice ont leur moyenne soustraite. C'est pour interpréter les vecteurs singuliers gauches comme composants principaux.$m=50$$n=100$

Je suis intéressé à comprendre comment la SVD change lorsque je lisse chaque vecteur de colonne. Par exemple, lissons chaque colonne de 100x1 par un simple noyau comme [1/3, 2/3, 1/3].

$S=\begin{bmatrix} \frac{2}{3}&\frac{1}{3}& & & & &\\ \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & & &\\ & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & &\\ & & \ddots& \ddots & \ddots & & \\ & & & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & \\ & & & &\frac{1}{3}&\frac{2}{3}&\frac{1}{3} \\ & & & & &\frac{1}{3}&\frac{2}{3} \end{bmatrix}$

Ainsi, la nouvelle matrice de données est $A'=SA$ et possède un SVD $A' = U' \Sigma' V'^{T}$ .

Ma première pensée a été que depuis $SA = SU \Sigma V^{T}$ , je devrais m'attendre à ce que les vecteurs ${U'}_i$ soient lissés comme les vecteurs $A_i$ .

Cette première équation ressemble aux $(SU)_i$ sont des vecteurs propres de $A' A'^T$ :

$$SA(SA)^T=SU\Sigma\Sigma^TU^TS^T$$

Mais je ne suis pas sûr de ce prochain s'il est valide de dire que les $V_i$ sont des vecteurs propres de $A'^T A'$ :

$$(SA)^TSA=V\Sigma^TU^TS^TSU\Sigma V^T$$

Lorsque je compare numériquement les SVD de $A$ et $A'$ , les vecteurs singuliers de gauche ne sont pas ce que j'attends, $U' \neq SU$ , mais ils ont une apparence lissée.

Quelqu'un peut-il m'aider à relier et le SVD après cette simple transformation?$U \Sigma V^{T}$$U' \Sigma' V'^{T}$

Pourquoi vos premières pensées vous ont égaré:

Lorsque vous prenez la SVD d'une matrice, et sont unitaires (orthogonales). Donc, alors qu'il est vrai que , ce n'est pas (généralement) le SVD de . Ce n'est que si est unitaire (ce qui n'est pas le cas dans le cas d'une matrice de lissage) qu'il serait vrai que .$U$$V$$SA = SU \Sigma V^{T}$$SA$$S$$U' = SU$

Existe-t-il une manière élégante et symbolique de relier les deux SVD? Je n'en trouve pas. Cependant, votre matrice de lissage est une matrice de Toeplitz. Il est possible que de telles matrices aient des propriétés spéciales qui pourraient rendre une analyse plus fructueuse. Si vous trouvez quelque chose, veuillez le partager avec nous.

Le cas du lissage extrême:

Une façon de penser au lissage est un continuum sans lissage à l'extrême où nous lissons chaque colonne à sa valeur moyenne. Maintenant, dans ce cas extrême, la matrice aurait un rang de 1 et il n'y aurait qu'une seule valeur singulière non nulle. Regardons le SVD:

$\left[ \begin{matrix} \uparrow & \uparrow & & \uparrow \\ \mu_1 & \mu_2 & ... & \mu_m \\ \downarrow & \downarrow & & \downarrow \end{matrix} \right] = \left[ \begin{matrix} \boldsymbol{\mu} \\ \boldsymbol{\mu} \\ ... \\ \end{matrix} \right] = \mathbf{1} \boldsymbol{\mu}^T = \dfrac{\mathbf{1}}{\sqrt{n}} \left[ \|\boldsymbol{\mu}\| \sqrt{n} \right] \dfrac{\boldsymbol{\mu}^T}{\|\boldsymbol{\mu}\|}$

La dernière équation représente la SVD tronquée. Notez que les vecteurs gauche et droit sont de longueur 1. Vous pouvez développer dans une matrice orthogonale. De même pour . Ensuite, mettez à zéro la matrice du milieu et vous avez le SVD complet.$\frac{\mathbf{1}}{\sqrt{n}}$$\frac{\boldsymbol{\mu}}{\|\boldsymbol{\mu}\|}$

Lissage intermédiaire

Vraisemblablement, vous n'allez pas faire un lissage aussi extrême. Alors qu'est-ce que cela signifie pour vous? À mesure que nous élargissons le lissage, le spectre diminue progressivement jusqu'à une valeur unique. Par exemple, dans mes simulations *:

Comme suggéré par la dérivation ci-dessus, s'approchera du vecteur normalisé 1 et s'approchera du vecteur moyen normé. Mais qu'en est-il des autres vecteurs?$U'_1$$V'_1$

Au fur et à mesure que leurs valeurs singulières correspondantes rétrécissent, les autres et varieront de façon encore plus folle jusqu'à ce qu'ils ne soient que des choix arbitraires pour les bases des sous-espaces orthogonaux à et . C'est-à-dire, le va juste devenir du bruit.$U'_i$$V'_i$$U'_1$$V'_1$

Si vous avez besoin d'une certaine intuition pour expliquer pourquoi ils sont "juste du bruit", considérez que est une somme pondérée de dyades: . Nous pourrions changer complètement les directions de et , et cela n'affectera que les entrées de par moins de .$SA$$\displaystyle \sum \sigma_i U'_i V'^T_i$$U'_i$$V'_i$$SA$$\sigma_i$

Une autre visualisation

Voici une autre façon de voir le lissage des colonnes. Imaginez chaque ligne de la matrice comme un point dans l' espace . À mesure que nous lissons les colonnes, chaque point se rapproche du point précédent et suivant. Dans l'ensemble, le nuage de points se rétrécit †:$m$

J'espère que cela t'aides!

_{[*]: J'ai défini une famille de lisseurs de plus en plus larges. En gros, j'ai pris le noyau [1/4, 1/2, 1/4], je l'ai convolué fois, je l'ai découpé en dimensions et normalisé pour qu'il se résume à 1. Puis j'ai tracé le graphique du lissage progressif d'un orthogonal aléatoire et une matrice normale aléatoire.$z$$d$}

_{[†]: Des lisseurs générés de la même manière. est construit comme une série de points dans espaces qui semblent intéressants.$A$$2$}