Déterminant de la matrice d'information de Fisher pour un modèle sur-paramétré

Considérons une variable aléatoire de Bernoulli avec le paramètre (probabilité de succès). La fonction de vraisemblance et les informations de Fisher (une matrice ) sont: $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Considérons maintenant une version "sur-paramétrisée" avec deux paramètres: la probabilité de réussite $\theta_1$ et la probabilité d'échec $\theta_0$ . (Notez que $\theta_1+\theta_0=1$ , et cette contrainte implique que l'un des paramètres est redondant.) Dans ce cas, la fonction de vraisemblance et la matrice d'informations de Fisher (FIM) sont:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Notez que les déterminants de ces deux FIM sont identiques. De plus, cette propriété s'étend au cas plus général des modèles catégoriels (c'est-à-dire plus de deux états). Il semble également s'étendre aux modèles log-linéaires avec divers sous-ensembles de paramètres contraints à zéro; dans ce cas, le paramètre extra "redondant" correspond à la fonction de partition logarithmique, et l'équivalence des deux déterminants FIM peut être montrée sur la base du complément Schur du FIM plus grand. (En fait, pour les modèles log-linéaires, le FIM plus petit n'est que le complément Schur du FIM plus grand.)

Quelqu'un peut-il expliquer si cette propriété s'étend à un plus grand ensemble de modèles paramétriques (par exemple à toutes les familles exponentielles), permettant la possibilité de dériver les déterminants FIM sur la base d'un tel ensemble de paramètres "étendu"? C'est-à-dire que tout modèle statistique donné avec paramètres se trouve sur une variété à dimensions incorporée dans un espace à dimensions. Maintenant, si nous étendons l'ensemble de paramètres pour inclure une dimension de plus (qui est totalement contrainte en fonction des autres) et calculons le FIM en fonction de ces paramètres , obtiendrons-nous toujours le même déterminant que celui basé sur l'original paramètres (indépendants)? Aussi, comment ces deux FIM sont-elles liées? $n$ $n$ $(n+1)$ $(n+1)$ $n$

La raison pour laquelle je pose cette question est que le FIM avec le paramètre supplémentaire semble souvent plus simple. Ma première pensée est que cela ne devrait pas fonctionner en général. Le FIM consiste à calculer des dérivées partielles de la vraisemblance logarithmique de chaque paramètre. Ces dérivées partielles supposent que, tandis que le paramètre en question change, tous les autres paramètres restent constants, ce qui n'est pas vrai une fois que nous impliquons le paramètre supplémentaire (contraint). Dans ce cas, il me semble que les dérivées partielles ne sont plus valables car on ne peut pas supposer que les autres paramètres sont constants; cependant, je n'ai pas encore trouvé de preuve qu'il s'agit en fait d'un problème. (Si les dérivées partielles sont problématiques dans les cas avec des paramètres dépendants, les dérivées totales sont-elles $(n+1) \times (n+1)$ besoin à la place? Je n'ai pas encore vu d'exemple de calcul de la FIM avec des dérivées totales, mais c'est peut-être la solution ...)

Le seul exemple que j'ai pu trouver en ligne qui calcule la FIM sur la base d'un ensemble de paramètres "étendu" est le suivant: ces notes contiennent un exemple pour la distribution catégorielle, calculant les dérivées partielles requises comme d'habitude (c'est-à-dire comme si chaque paramètre est indépendant , même si une contrainte est présente parmi les paramètres).

— Tyler Streeter
source

Bonne question! Je pense que la spécification à deux paramètres de la variable aléatoire de Bernoulli est un exemple plutôt malheureux, car sans la contrainte, n'est plus lié à la densité. Pouvez-vous reproduire votre observation pour une famille exponentielle courbe, par exemple?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa

@Khashaa Je suppose que la contrainte s'applique dans le cas à deux paramètres (celui que vous avez mentionné), donc la fonction de vraisemblance sera toujours une densité valide. Aussi, oui, je peux reproduire cette observation, par exemple pour les modèles log-linéaires avec divers sous-ensembles de paramètres contraints à zéro; dans ce cas, le paramètre "redondant" correspond à la fonction de partition de journal.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter, du

Que diriez-vous de ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa

Réponses:

Pour normal , la matrice d'informations est Pour la courbe normaleDonc, votre observation selon laquelle les déterminants sont égaux n'est pas universelle, mais ce n'est pas toute l'histoire. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

Généralement, si est la matrice d'information sous la reparamétrisation alors, il n'est pas difficile de voir que la matrice d'information pour les paramètres d'origine est où est le jacobien de la transformation . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Pour l'exemple de Bernoulli et . Ainsi, le jacobien est et donc $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Pour un exemple normal courbe,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Je pense que vous pouvez maintenant facilement relier les déterminants.

Suivi après le commentaire

Si je vous ai bien compris, la FIM est valable tant que vous étendez les paramètres de manière significative: la probabilité sous une nouvelle paramétrisation devrait être une densité valide. Par conséquent, j'ai qualifié l'exemple de Bernoulli de regrettable.

Je pense que le lien que vous avez fourni présente un grave défaut dans la dérivation de la FIM pour les variables catégorielles, car nous avons et . L'attente de la Hesse négative donne , mais pas pour la covariance des vecteurs de score. Si vous négligez les contraintes, l'égalité de la matrice d'informations ne tient pas. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
source

Merci d'avoir mentionné l'approche de transformation jacobienne et pour les exemples simples et clairs. Pouvez-vous (ou quelqu'un d'autre) commenter le problème suivant qui me préoccupe toujours: lors de l'extension de l'ensemble de paramètres d'une dimension, comme nous le faisons ici, nous introduisons une contrainte parmi les paramètres de sorte que toute dérivée partielle (comme requis par le FIM) devrait être invalide car maintenant, quand on fait varier un paramètre, les autres ne sont plus constants. Le FIM est-il donc même valable pour l'ensemble étendu de paramètres, étant donné que les dérivées partielles ne sont pas valides en raison de la contrainte supplémentaire?

— Tyler Streeter

@TylerStreeter J'ai mis à jour ma réponse pour résoudre votre problème.

— Khashaa

Il semble que le résultat soit valable pour un type spécifique de relation entre les paramètres.

Sans prétendre à la généralité complète des résultats ci-dessous, je m'en tiens au cas des «un à deux paramètres». Notons l'équation implicite qui exprime la relation qui doit tenir entre les deux paramètres. Ensuite, le log-vraisemblance "correct étendu", "à deux paramètres" (pas ce que l'OP calcule - nous y arriverons) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ est équivalent à la vraie vraisemblance , car , ( est un multiplicateur) et nous pouvons traiter les deux paramètres comme indépendants, tandis que nous différencions.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

En utilisant les indices pour désigner les dérivées par rapport aux paramètres (un dérivé premier indice, deux dérivées deuxième indice), le déterminant de la Hesse de la log-vraisemblance étendue correcte sera

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

Que fait l'OP à la place?

Il considère que la mauvaise probabilité "ignore" la relation entre les deux paramètres, et sans tenir compte de la contrainte . Il procède ensuite à la différenciation et obtient $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

Il est évident que n'est pas en général égal à . $(2)$ $(1)$

Mais si , alors $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Donc, si la relation entre le paramètre réel et le paramètre redondant est telle que les deuxièmes dérivées partielles de la fonction implicite qui les relie sont toutes nulles , l'approche qui est fondamentalement erronée finit par être "correcte".

Pour l'affaire Bernoulli, nous avons en effet

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ADDENDUM
Pour répondre à la question @Khashaa et montrer la mécanique ici, nous considérons une vraisemblance spécifiée avec un paramètre redondant, mais également sous une contrainte qui relie le paramètre redondant au vrai. Ce que nous faisons avec les log-vraisemblances, c'est de les maximiser - nous avons donc ici un cas de maximisation contrainte. Supposons un échantillon de taille ,: $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Ce problème a un Langrangean (ce que j'ai appelé officieusement "vraisemblance étendue correcte" ci-dessus),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Les conditions de premier ordre pour un maximum sont

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

pour laquelle on obtient la relation

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

en utilisant la contrainte sous laquelle ce qui précède est valide, on obtient $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

comme il se doit.

De plus, la contrainte étant linéaire dans tous les paramètres, ses dérivées secondes seront nulles. Cela se reflète dans le fait que dans les dérivées premières de la lagrangienne, le multiplicateur "reste seul" et il sera éliminé lorsque nous prendrons les dérivées secondes de la lagrangienne. Ce qui à son tour nous conduira à une Hesse dont le déterminant sera égal à la dérivée seconde (unidimensionnelle) de la vraisemblance logarithmique à un paramètre d'origine, après avoir également imposé la contrainte (ce que fait l'OP). Prendre ensuite le négatif de la valeur attendue dans les deux cas, ne change pas cette équivalence mathématique, et on arrive à la relation "Information Fisher unidimensionnelle = déterminant de l'information Fisher bidimensionnelle". Maintenant $\lambda$ étant donné que la contrainte est linéaire dans tous les paramètres, l'OP obtient le même résultat (au niveau de la dérivée seconde) sans introduire la contrainte avec un multiplicateur dans la fonction à maximiser, car au deuxième niveau dérivé, la présence / l'effet du la contrainte disparaît dans un tel cas.

Tout cela a à voir avec le calcul, pas avec des concepts statistiques.

— Alecos Papadopoulos
source

Je n'arrive pas à suivre votre logique. Pourriez-vous expliquer pourquoi est considéré comme une «log-vraisemblance étendue», «vraisemblable à deux paramètres»? De plus, la Hesse est complètement mystérieuse pour moi. Calculez-vous la matrice d'informations observée?

L^{e}

$L^e$

— Khashaa

@Khashaa Selon une terminologie établie, le "Hessian" est la matrice des dérivées secondes d'une fonction multivariée.

— Alecos Papadopoulos

Il serait utile que les votants ici affichent une réponse - parce que l'exemple spécifique du PO existe - et demande une explication.

— Alecos Papadopoulos

Désolé, si ma question n'était pas claire. Ma question était de savoir comment vous avez lié la Hesse à la matrice d'informations, car je ne voyais aucune attente opérer à ce sujet et le résultat semblait être une matrice d'informations observée. Par ailleurs, pouvez-vous expliquer pourquoi est une loglik vraisemblance correcte? Je suppose que vous utilisez une méthode fondée sur des principes pour évaluer la probabilité restreinte, mais je ne comprends pas comment cela fonctionne.

L^{e}

$L^e$

— Khashaa

@Khashaa J'ai ajouté une exposition en utilisant l'exemple de l'OP.

— Alecos Papadopoulos