Dérivation de la matrice de diffusion totale (dans la classe + entre les classes)

Je jouais avec les méthodes PCA et LDA et je suis coincé à un moment donné, j'ai le sentiment que c'est si simple que je ne peux pas le voir.

Les matrices de dispersion -classe ( ) et -classe ( ) sont définies comme suit: $S_W$ $S_B$

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

La matrice de diffusion totale est donnée par: $S_T$

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

où C est le nombre de classes et N le nombre d'échantillons sont des échantillons, est la moyenne de la ième classe, est la moyenne globale. $x$ $\mu_i$ $\mu$

En essayant de dériver $S_T$ je suis arrivé à un point où j'avais:

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

comme terme. Cela doit être nul, mais pourquoi?

En effet:

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
source

La réponse est que vous additionnez les écarts de valeurs autour de leur moyenne et que cette somme est nulle. Mais que sont précisément , et ? Comment et liés à et ? La qualité des réponses dépendra de la précision avec laquelle nous devinons, mais vous nous forcez à faire beaucoup de devinettes!

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— whuber

@whuber: Vous avez tout à fait raison, j'ai révisé ma question.

— nimcap

Si vous supposez

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{i} = μ_{i}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

alors

\sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} = \sum_{i = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{i} - μ_{i})) (μ_{i} - μ)^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

et la formule est valable. Vous traitez le deuxième terme de la même manière.

— mpiktas
source

(+1) Le second terme, étant la transposition du premier, doit également être nul :-).

— whuber

@whuber, oui, ça aussi :)

— mpiktas

Salut, je ne comprends pas pourquoi l'hypothèse tient? Quelqu'un peut-il expliquer cela?

— Mvkt

@Mvkt Ce n'est pas tant une hypothèse que la définition de je suppose. Soit: est la moyenne des observations du groupe . Je m'attends à ce que la réponse utilise «assumer» parce que l'OP n'explique pas la notation, nous devons donc deviner que la moyenne du groupe est signifiée par .

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

i

$i$

μ_{i}

$\mu_i$

— Vincent