Comment prendre dérivé de la densité normale multivariée?

Disons que j'ai une densité normale multivariée de . Je veux obtenir le deuxième dérivé (partiel) wrt . Pas sûr de savoir comment prendre dérivé d'une matrice. $N(\mu, \Sigma)$ $\mu$

Le wiki dit prendre le dérivé élément par élément à l'intérieur de la matrice.

Je travaille avec l'approximation de Laplace Le mode est .

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

On m'a donné comment est-ce arrivé?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

Ce que j'ai fait:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

Donc, je prends dérivé de $\theta$ , premièrement, il y a une transposition, deuxièmement, c'est une matrice. Donc, je suis coincé.

Note: Si mon professeur rencontre ceci, je me réfère à la conférence.

self-study normal-distribution matrix

— utilisateur1061210
source

Une partie de votre problème peut être que votre expression pour le log-vraisemblance a une erreur - vous avez

| Σ |

$|\Sigma|$ où vous devriez avoir

\log (| Σ |)

$\log(|\Sigma|)$ . Aussi, par hasard avez-vous voulu dire

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$ ?

— Macro

Oui, tu as raison, désolé. Pourquoi y a-t-il un signe négatif devant la dérivée partielle?

— user1061210

Je clarifiais juste à propos du signe négatif parce que la dérivée seconde négative est l’information observée sur le pêcheur, qui est habituellement intéressante. De plus, par mon propre calcul, je découvre que

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— Macro

Alors, quelle est la procédure générale pour la fonction discrète / continue? Prenez un journal, écrivez sous forme d’expansion de Taylor, différenciez-vous deux fois par . Les informations de Fisher ne sont généralement pas vraies dans la plupart des autres densités, non?

θ

$\theta$

— user1061210

@user Comme je l'ai indiqué, la dérivée seconde du logarithme doit avoir des valeurs propres non positives. Oui, il existe des liens entre les variances et les dérivées partielles négatives secondes, comme le révèlent la théorie de l'estimation du maximum de vraisemblance, les informations de Fisher, etc. - Macro a déjà évoqué cela plus tôt dans ces commentaires.

— whuber

Réponses:

Dans le chapitre 2 du livre de recettes matricielles, vous trouverez un aperçu des éléments de calcul matriciel qui donne de nombreuses identités utiles pour résoudre les problèmes rencontrés lors de la réalisation de probabilités et de statistiques, y compris des règles permettant de différencier la vraisemblance gaussienne multivariée.

Si vous avez un vecteur aléatoire multivarié normal avec un vecteur moyen et une matrice de covariance , utilisez l'équation (86) dans le livre de recettes matriciel pour déterminer que le gradient de la vraisemblance du journal par rapport à est ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial L}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (y - μ)) \\ = Σ^{- 1} (y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

Je vous laisse le soin de différencier à nouveau cette question et de trouver la réponse . $-{\boldsymbol \Sigma}^{-1}$

En tant que "crédit supplémentaire", utilisez les équations (57) et (61) pour déterminer que le gradient par rapport à est ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (\frac{\partial \log (| Σ |)}{\partial Σ} + \frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

J'ai omis beaucoup d'étapes, mais j'ai fait cette dérivation en utilisant uniquement les identités trouvées dans le livre de recettes de la matrice. Je vous laisse donc le soin de combler les lacunes.

J'ai utilisé ces équations de score pour l'estimation du maximum de vraisemblance, je sais donc qu'elles sont correctes :)

— Macro
source

Excellente référence - allais le recommander moi-même. Ce n'est pas une bonne référence pédagogique pour quelqu'un qui ne connaît pas l'algèbre matricielle. Le véritable défi provient de l’élaboration de . Une vraie douleur.

Σ

$\Sigma$

— probabilislogic

Une autre bonne source de calcul matriciel est Magnus & Neudecker, amazon.com/…

— StasK

Le numéro de référence de l'équation a été modifié (peut-être en raison d'une nouvelle édition). La nouvelle équation de référence est 86.

— goelakash

Je pourrais être en dehors de la base ici mais je ne pense pas que cette formule est correcte. J'ai utilisé cela avec des exemples réels et en regardant leurs différences finies. Il semble que la formule pour donne les valeurs correctes pour les entrées diagonales. Cependant, les entrées hors diagonale sont la moitié de ce qu'elles devraient être.

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— jjet

Vous devez vous assurer que vous prenez bien en compte les éléments répétés dans , sinon vos dérivés seront incorrects. Par exemple, (141) le livre de recettes matriciel donne pour un symétrique les dérivés suivants $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial \log | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

Et (14) de Différenciation des fonctions des matrices de covariance donne

\begin{aligned} \frac{\partial trace (Σ^{- 1} x x^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

où désigne le produit Hadmard et pour plus de commodité, nous avons défini . $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

Notez en particulier que ce n'est pas la même chose que lorsque la symétrie de n'est pas imposée. En conséquence, nous avons ce $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (D \log | 2 π | + \log | Σ | + x^{⊤} Σ^{- 1} x)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (\log | Σ | + trace (Σ^{- 1} x x^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ I) - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

où désigne la dimension de , et et la dérivée deest 0 $D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

Cela garantit que l' élément de correspond à . $i,j^{th}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— Lawrence Middleton
source

J'ai essayé de vérifier informatiquement la réponse de @ Macro mais j'ai trouvé ce qui semble être une erreur mineure dans la solution de covariance. Il a obtenu Cependant, il semble que la solution correcte soit réellement Le script R suivant fournit un exemple simple dans lequel la différence finie est calculée pour chaque élément de . Cela démontre que

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) = A \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$

B = 2 A - diag (A)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$

Σ

${\boldsymbol \Sigma}$

A

${\bf A}$ fournit la réponse correcte uniquement pour les éléments diagonaux, tandis que est correct pour chaque entrée.

B

${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
source

Merci pour votre commentaire. Je crois que vous interprétez la notation différemment de tous les autres, car vous modifiez simultanément des paires d'éléments non diagonaux correspondants de , ce qui double l'effet de ce changement. En fait, vous calculez un multiple d'une dérivée directionnelle. Il semble y avoir un petit problème avec la solution de Macro dans la mesure où une transposition doit être prise - mais cela ne changerait rien dans l'application aux matrices symétriques.

Σ

$\Sigma$

— whuber