Comment calculer les poids des critères Fisher?

J'étudie la reconnaissance des formes et l'apprentissage automatique, et je suis tombé sur la question suivante.

Considérons un problème de classification à deux classes avec une probabilité de classe antérieure égale

$$P(D_1)=P(D_2)= \frac{1}{2}$$

et la distribution des instances dans chaque classe donnée par

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Comment calculer les poids des critères Fisher?

Mise à jour 2: Le poids calculé fourni par mon livre est: $W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$ .

Mise à jour 3: Comme laissé entendre par @xeon, je comprends que je devrais déterminer la ligne de projection pour le discriminant de Fisher.

Mise à jour 4: Soit $W$ la direction de la ligne de projection, alors la méthode discriminante linéaire de Fisher trouve que le meilleur $W$ est celui pour lequel la fonction de critère est maximisée. Le défi restant est de savoir comment obtenir numériquement le vecteur $W$ ?

À la suite de l'article auquel vous avez lié (Mika et al., 1999) , nous devons trouver le qui maximise le soi-disant quotient de Rayleigh généralisé ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

où pour les moyens et les covariances ,C 1 , C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

La solution peut être trouvée en résolvant le problème généralisé des valeurs propres par le premier calcul les valeurs propres en résolvant puis en résolvant pour le vecteur propre . Dans votre cas, Le déterminant de cette matrice 2x2 peut être calculé à la main.λdet( S B -λ S W )=0wSB-λSW=( 16 - 3 λ

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

Le vecteur propre avec la plus grande valeur propre maximise le quotient de Rayleigh. Au lieu de faire les calculs à la main, j'ai résolu le problème des valeurs propres généralisées en Python en utilisant scipy.linalg.eiget j'ai obtenu ce qui est différent de la solution que vous avez trouvée dans votre livre. Ci-dessous, j'ai tracé l'hyperplan optimal du vecteur de poids que j'ai trouvé (noir) et l'hyerplan du vecteur de poids trouvé dans votre livre (rouge).

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Après Duda et al. (Pattern CLassification) qui a une solution alternative à @lucas et dans ce cas donne une solution très facile à calculer à la main. (J'espère que cette solution alternative vous aidera !! :))

Dans deux LDA de classe, l'objectif est:

$\frac{w^TS_Bw}{w^TS_Ww}$ ce qui signifie simplement que l'augmentation de la variance entre classes et la diminution de la variance intra classe.

où et , ici sont une matrice de covariance et sont des moyennes de classe 1 et 2 respectivement.$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

La solution de ce quotient de raleigh généralisé est un probem de valeur propre généralisée.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

La formulation ci-dessus a une solution sous forme fermée. est une matrice de rang 1 avec une base donc qui peut être normlizd pour obtenir la réponse.$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

Je viens de calculer le et j'ai obtenu [0,5547; 0,8321].$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Réf: Classification des motifs par Duda, Hart, Stork

$\mathbf{SOLUTION 2:}$

Alternativement, il peut être résolu en trouvant un vecteur propre au problème de valeur propre généralisé. $S_Bw = \lambda S_Ww$

Un polynôme dans lambda peut être formé par un et les solutions à ce polynôme seront la valeur propre pour . Supposons maintenant que vous ayez un ensemble de valeurs propres tant que racines du polynôme. Remplacez maintenant et obtenez le vecteur propre correspondant comme solution au système linéaire d'équations . En faisant cela pour chaque i, vous pouvez obtenir un ensemble de vecteurs et c'est un ensemble de vecteurs propres comme solutions.$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , donc les valeurs propres sont racines au polynôme .$6\lambda^2 - 80\lambda$

Donc 0 et 40/3 sont les deux solutions. Pour LDA, le vecteur propre correspondant à la valeur propre la plus élevée est la solution.$\lambda=$

Solution au système d'équation et$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

qui se révèle être$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

La solution au système d'équation ci-dessus est qui est identique à la solution précédente.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Alternativement, nous pouvons dire que se situe dans l'espace nul de .[ - 72 48 48 - 32$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

Pour une LDA à deux classes, le vecteur propre avec la valeur propre la plus élevée est la solution. En général, pour la classe C LDA, les premiers vecteurs propres C - 1 aux valeurs propres C - 1 les plus élevées constituent la solution.

Cette vidéo explique comment calculer des vecteurs propres pour un problème de valeur propre simple. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Voici un exemple. http://www.sosmath.com/matrix/eigen2/eigen2.html

LDA multi-classe: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Calcul de l'espace nul d'une matrice: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix