Comment garantir les propriétés de la matrice de covariance lors de l'ajustement d'un modèle normal multivarié en utilisant le maximum de vraisemblance?

22

Supposons que j'ai le modèle suivant

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

où $y_i\in \mathbb{R}^K$ , $x_i$ est un vecteur de variables explicatives, $\theta$ est les paramètres de la fonction non linéaire $f$ et $\varepsilon_i\sim N(0,\Sigma)$ , où $\Sigma$ est naturellement la matrice $K\times K$

Le but est l'habituel d'estimer $\theta$ et $\Sigma$ . Le choix évident est la méthode du maximum de vraisemblance. Log-vraisemblance pour ce modèle (en supposant que nous avons un échantillon ) ressemble $(y_i,x_i),i=1,...,n$

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

Maintenant, cela semble simple, la log-vraisemblance est spécifiée, insérée dans les données et utilise un algorithme pour l'optimisation non linéaire. Le problème est de savoir comment s'assurer que est défini positif. Utiliser par exemple dans R (ou tout autre algorithme d'optimisation non linéaire) ne me garantira pas que est défini positif. $\Sigma$ optim $\Sigma$

Donc, la question est de savoir comment s'assurer que $\Sigma$ reste définitivement défini? Je vois deux solutions possibles:

Reparametrise $\Sigma$ as $RR'$ où $R$ est une matrice triangulaire supérieure ou symétrique. Alors $\Sigma$ sera toujours positif-défini et $R$ peut être sans contrainte.
Utilisez la vraisemblance du profil. Dérivez les formules pour $\hat\theta(\Sigma)$ et $\hat{\Sigma}(\theta)$ . Commencez par $\theta_0$ et itérez $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ , $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ jusqu'à convergence.

Y a-t-il une autre manière et qu'en est-il de ces 2 approches, vont-elles fonctionner, sont-elles standard? Cela semble un problème assez standard, mais la recherche rapide ne m'a donné aucun pointeur. Je sais que l'estimation bayésienne serait également possible, mais pour le moment je ne voudrais pas m'y engager.

maximum-likelihood optimization covariance

— mpiktas
source

J'ai le même problème dans un algorithme de Kalman, mais le problème est beaucoup plus compliqué et pas aussi facile à utiliser l'astuce Hamilton. Je me demande alors si une chose plus simple à faire consisterait simplement à utiliser . De cette façon, je force le code à ne pas donner d'erreur et ne change pas la solution. Cela a également l'avantage de forcer ce terme à avoir le même signe que la dernière partie de la probabilité. Des idées?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

En supposant que dans la construction de la matrice de covariance, vous êtes automatiquement en prenant soin de la question de symétrie, votre log-vraisemblance sera lorsque est pas définie positive en raison du terme dans le bon modèle? Pour éviter une erreur numérique si je précalculerais et, s'il n'est pas positif, je fais en sorte que la probabilité de log soit égale à -Inf, sinon continuez. Vous devez quand même calculer le déterminant, donc cela ne vous coûte aucun calcul supplémentaire. $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— Macro
source

5

Il s'avère que vous pouvez utiliser la probabilité maximale du profil pour garantir les propriétés nécessaires. Vous pouvez prouver que pour donné , est maximisée par $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

où

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

Il est alors possible de montrer que

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

il nous suffit donc de maximiser

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

Naturellement, dans ce cas, satisfera toutes les propriétés nécessaires. Les preuves sont identiques pour le cas où est linéaire qui peut être trouvé dans l' analyse des séries temporelles par JD Hamilton page 295, donc je les ai omises. $\Sigma$ $f$

— mpiktas
source

3

Une alternative pour la paramétrisation de la matrice de covariance est en termes de valeurs propres et angles "Givens" . $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

Autrement dit, nous pouvons écrire

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

où est orthonormé, et $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

avec . $\lambda_1 \geq ... \geq \lambda_p \geq 0$

Pendant ce temps, peut être paramétré de manière unique en termes de angles, , où et [1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(détails à ajouter)

[1]: Hoffman, Raffenetti, Ruedenberg. "Généralisation des angles d'Euler aux matrices orthogonales à N dimensions". J. Math. Phys. 13, 528 (1972)

— charles.y.zheng
source

La matrice

est en fait orthogonale, car

est une matrice symétrique. C'est l'approche que j'allais recommander - Fondamentalement, cela revient à faire tourner le vecteur

et la fonction de modèle

afin que les erreurs soient indépendantes, puis à appliquer l'OLS à chacune des composantes tournées (je pense).

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

— probabilitéislogic

2

Dans la lignée de la solution de charles.y.zheng, vous pouvez modéliser , où est une matrice diagonale et est une factorisation de Cholesky d'une mise à jour de rang vers . Il vous suffit alors de garder la diagonale de positif pour garder positif défini. Autrement dit, vous devez estimer la diagonale de et les éléments de au lieu d'estimer . $\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— shabbychef
source

Les éléments sous la diagonale dans ces paramètres peuvent-ils être tout ce que je veux tant que la diagonale est positive? Lorsque vous simulez des matrices de cette manière en numpy, toutes ne sont pas définies positives.

— sztal

Λ

$\Lambda$