KL divergence entre deux gaussiennes multivariées

Je ne parviens pas à calculer la formule de divergence KL en supposant deux distributions normales multivariées. J'ai résolu le cas univarié assez facilement. Cependant, cela fait un bon moment que je n'ai pas pris les statistiques mathématiques, alors j'ai du mal à les étendre au cas multivarié. Je suis sûr que je manque juste quelque chose de simple.

Voici ce que j'ai ...

Supposons que les deux p et q sont les fdp de distributions normales avec des moyens u 1 et u 2 et les écarts Σ 1 et Σ 2 , respectivement. La distance de Kullback-Leibler de q à p est:$p$$q$$\mu_1$$\mu_2$$\Sigma_1$$\Sigma_2$$q$$p$

∫ [ log ( p ( x ) ) - log ( q ( x ) ) ] p ( x ) d x   , qui pour deux normales multivariées est:$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Suivant la même logique que cette preuve , j'arrive à peu près ici avant de rester bloqué:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Je pense que je dois mettre en œuvre le truc de trace , mais je ne suis pas sûr de savoir quoi faire après cela. Toute astuce utile pour me remettre sur la bonne voie serait appréciée!

En commençant par votre point de départ avec quelques légères corrections, nous pouvons écrire

$$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$$

Notez que j'ai utilisé quelques propriétés de la section 8.2 du livre de recettes matriciel .