Comprendre la décomposition en valeurs singulières dans le contexte de LSI

Ma question porte généralement sur la décomposition en valeurs singulières (SVD), et en particulier sur l'indexation sémantique latente (LSI).

Dis, j'ai qui contient des fréquences de 5 mots pour 7 documents. $A_{word \times document}$

A =  matrix(data=c(2,0,8,6,0,3,1,
                   1,6,0,1,7,0,1,
                   5,0,7,4,0,5,6,
                   7,0,8,5,0,8,5,
                   0,10,0,0,7,0,0), ncol=7, byrow=TRUE)
rownames(A) <- c('doctor','car','nurse','hospital','wheel')

J'obtenir la matrice factorisation de en utilisant SVD: . $A$ $A = U \cdot D \cdot V^T$

s = svd(A)
D = diag(s$d) # singular value matrix
S = diag(s$d^0.5 ) # diag matrix with square roots of singular values.

En 1 et 2 , il est indiqué que:

donne la matrice de similarité des mots, où les rangées de représentent des mots différents. $WordSim = U \cdot S$ $WordSim$

WordSim = s$u %*% S

donne la matrice de similitude des documentsoù les colonnes de représentent différents documents. $DocSim= S \cdot V^T$ $DocSim$

DocSim = S %*% t(s$v)

Des questions:

$WordSim$ $DocSimS$
$WordSim$ $DocSim$

entrez la description de l'image ici

r svd natural-language latent-semantic-indexing

— Zhubarb
source

A V = U D

$AV=UD$

A

$A$

A^{'} U = V D^{'}

$A'U=VD'$

A

$A$

Ah .. Je vois dans wikipedia que LSI n'est qu'une analyse de correspondance (CA). C'est mieux. CA est le biplot d'un tableau de données spécialement préparé. Les projections ou coordonnées susmentionnées - vous les utilisez pour tracer des points de ligne et de colonne dans l'espace des axes principaux. La proximité entre les points ligne-ligne, col-col et ligne-col établit leur similitude. Cependant, la disposition sur le tracé dépend de la façon dont vous répartissez l'inertie (variance) sur la ligne et les points de col.

— ttnphns

A V = U D

$AV=UD$

A' U = V D'

$A ′ U=VD ′$

D

$D$

S

$S$

D

$D$

U D

$UD$

D V^{'}

$DV^\prime$

U S

$US$

S V^{'}

$SV^\prime$

A = U D V^{'} \approx U (S^{2}) V^{'} = (U S) (S V^{'}) .

$A=UDV^\prime\approx U(S^2)V^\prime=(US)(SV^\prime).$

D=svd(A)$d

U D

$UD$

La factorisation matricielle utilisant SVD décompose la matrice d'entrée en trois parties:

$U$
$D$ $D$ $U$ $V^T$
$V^T$

$WordSim$

— Pieter
source