Pourquoi l'épreuve de Wilks de 1938 ne fonctionne-t-elle pas pour les modèles mal spécifiés?

Dans le célèbre article de 1938 (« La distribution à grand échantillon du rapport de vraisemblance pour tester les hypothèses composites », Annals of Mathematical Statistics, 9: 60-62), Samuel Wilks a dérivé la distribution asymptotique de $2 \times LLR$ (log log vraisemblance ratio ) pour les hypothèses imbriquées, sous l'hypothèse que l'hypothèse la plus grande est correctement spécifiée. La distribution limite est $\chi^2$ (chi carré) avec $h-m$ degrés de liberté, où $h$ est le nombre de paramètres dans l'hypothèse la plus grande et $m$ est le nombre de paramètres libres dans l'hypothèse imbriquée. Cependant, il est bien connu que ce résultat ne se vérifie pas lorsque les hypothèses sont mal spécifiées (c'est-à-dire lorsque l'hypothèse la plus large n'est pas la vraie distribution pour les données échantillonnées).

Quelqu'un peut-il expliquer pourquoi? Il me semble que la preuve de Wilks devrait encore fonctionner avec des modifications mineures. Elle repose sur la normalité asymptotique de l'estimation du maximum de vraisemblance (MLE), qui est toujours valable pour les modèles mal spécifiés. La seule différence est la matrice de covariance de la normale multivariée limite: pour des modèles correctement spécifiés, nous pouvons approximer la matrice de covariance avec la matrice d'information de Fisher inverse $J^{-1}$ , avec une erreur de spécification, nous pouvons utiliser l'estimation sandwich de la matrice de covariance ( $J^{-1} K J^{-1}$ ). Ce dernier se réduit à l'inverse de la matrice d'informations de Fisher lorsque le modèle est correctement spécifié (puisque $J = K$ ). AFAICT, la preuve de Wilks ne se soucie pas d'où vient l'estimation de la matrice de covariance, tant que nous avons une matrice de covariance asymptotique inversible de la normale multivariée pour les MLE ( dans l'article de Wilks). $c^{-1}$

— ratsalad
source

Lorsque le modèle plus grand est vrai mais que le sous-modèle est faux, la distribution asymptotique n'est plus

(dans les modèles linéaires avec des erreurs gaussiennes, par exemple, nous obtenons des choses comme des distributions exactes non centrales-F donc la distribution asymptotique devrait être quelque chose comme nc-

Je suppose). Alors, pourquoi nous attendrions-nous à ce qu'il soit

alors que le plus grand et le plus petit modèle sont tous les deux erronés? Quelle est exactement l'hypothèse nulle ici pour commencer?

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— gars

Dans l'hypothèse nulle correctement spécifiée, les deux modèles sont "vrais", mais celui imbriqué a

paramètres fixés aux valeurs vraies. Dans l'hypothèse nulle mal spécifiée, les deux modèles sont "faux", mais celui imbriqué a

paramètres fixés aux valeurs pseudotrues. ("Pseudotrue value" étant la valeur asymptotique du paramètre qui minimise la distance de Kullback-Liebler entre le modèle mal spécifié et le vrai modèle). Donc, votre exemple du F non central n'est pas pertinent, car c'est la distribution lorsque l'hypothèse nulle ici est fausse.

m

$m$

m

$m$

— ratsalad

Désolé, j'aurais dû dire que l'hypothèse imbriquée a des paramètres

fixés aux vraies valeurs.

h - m

$h-m$

— ratsalad

Je crois comprendre qu'un modèle nul mal spécifié pourrait être mal spécifié de plusieurs façons. Par exemple: mauvaise distribution des résidus, les données ont une hétéroscédasticité, les effets ne sont pas additifs, etc. Cependant, je conviens que si au moins l'un des

paramètres "testés" est fixé à une valeur fausse (par exemple la valeur pseudotrue) , c'est un exemple d'un modèle nul spécifié de manière incorrecte.

h - m

$h - m$

— rcorty

Réponses:

RV Foutz et RC Srivastava ont examiné la question en détail. Leur article de 1977 "La performance du test du rapport de vraisemblance lorsque le modèle est incorrect" contient une déclaration du résultat de la distribution en cas de mauvaise spécification ainsi qu'un très bref croquis de la preuve, tandis que leur article de 1978 "La distribution asymptotique du rapport de vraisemblance lorsque le modèle est incorrect " contient la preuve - mais celle-ci est tapée dans un typographe à l'ancienne (les deux articles utilisent cependant la même notation, vous pouvez donc les combiner en lecture). En outre, pour certaines étapes de la preuve, ils se réfèrent à un article de KP Roy "Une note sur la distribution asymptotique du rapport de vraisemblance" de 1957 qui ne semble pas être disponible en ligne, même fermé.

En cas de spécification erronée de la distribution, si le MLE est toujours cohérent et asymptotiquement normal (ce qui n'est pas toujours le cas), la statistique LR suit asymptotiquement une combinaison linéaire de chi-carrés indépendants (chacun d'un degré de liberté)

- 2 \ln λ \overset{d}{\to} \sum_{i = 1}^{r} c_{i} χ_{i}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

où . On peut voir la "similitude": au lieu d'un chi carré avec degrés de liberté, nous avons chi carrés chacun avec un degré de liberté. Mais "l'analogie" s'arrête là, car une combinaison linéaire de chi-carrés n'a pas de densité de forme fermée. Chaque chi carré mis à l'échelle est un gamma, mais avec un paramètre différent qui conduit à un paramètre d'échelle différent pour le gamma - et la somme de ces gammas n'est pas de forme fermée, bien que ses valeurs puissent être calculées. $r=h-m$ $h-m$ $h-m$ $c_i$

Pour les constantes , nous avons , et ce sont les valeurs propres d'une matrice ... quelle matrice? Eh bien, en utilisant la notation des auteurs, définissez comme la Hesse de la log-vraisemblance et comme le produit extérieur du gradient de la log-vraisemblance (en termes d'espérance). Donc est la matrice asymptotique de variance-covariance du MLE. $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

Ensuite , mettre en à la bloc supérieur diagonale de . $M$ $r \times r$ $V$

Ecrivez également sous forme de bloc $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

et fixons ( est le négatif du complément de Schur de ). $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

Les sont alors les valeurs propres de la matrice évaluées aux vraies valeurs des paramètres. $c_i$ $MW$

ADDENDUM
Répondant à la remarque valable du PO dans les commentaires (parfois, en effet, les questions deviennent un tremplin pour partager un résultat plus général, et elles-mêmes peuvent être négligées dans le processus), voici comment procède la preuve de Wilks: Wilks commence par l'articulation distribution normale du MLE, et procède à dériver l'expression fonctionnelle du rapport de vraisemblance. Jusqu'à et y compris son éq. , la preuve peut avancer même si nous supposons que nous avons une erreur de distribution: comme le note l'OP, les termes de la matrice de covariance de la variance seront différents dans le scénario de l'erreur de spécification, mais tout ce que Wilks fait est de prendre des dérivés et d'identifier termes asymptotiquement négligeables. Et donc il arrive à l'eq. $[9]$ $[9]$ $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

But if we have misspecification, then the terms that are used in order to scale the centered and magnified MLE $\sqrt n(\hat \theta -\theta)$ are no longer the terms that will make the variances of each element equal to unity, and so transform each term into a standard normal r.v and the sum into a chi-square.
And they are not, because these terms involve the expected values of the second derivatives of the log-likelihood... but the expected value can only be taken with respect to the true distribution, since the MLE is a function of the data and the data follows the true distribution, while the second derivatives of the log-likelihood are calculated based on the wrong density assumption.

So under misspecification we have something like

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{a_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$ and the best we can do is to manipulate it into

- 2 \ln λ = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} χ_{1}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

which is a sum of scaled chi-square r.v.'s, no longer distributed as one chi-square r.v. with $h-m$ degrees of freedom. The reference provided by the OP is indeed a very clear exposition of this more general case that includes Wilks' result as a special case.

— Alecos Papadopoulos
source

So, this is just a restatement of the standard result when the model is misspecified. This result has been derived and re-derived many times. The clearest and most illuminating derivation I have seen is from Kent 1982 "Robust Properties of Likelihood Ratio Tests" (Biometrika 69:19). However, you did not answer my question. My question was specifically about Wilks 1938 proof, and why it fails.

— ratsalad

Wilks' 1938 proof doesn't work because Wilks used $J^{-1}$ As the asymptotic covariance matrix in his proof. $J^{-1}$ is the inverse of the Hessian of the negative log likelihood rather than the sandwich estimator $J^{-1} K J^{-1}$ . Wilks references the $ij$ th element of $J$ as $c_{ij}$ in his proof. By making the assumption that $J^{-1}KJ^{-1} = J^{-1}$ Wilks (1938) is assuming that $K=J$ holds which is the Fisher Information Matrix equality. If the probability model is correctly specified then $K=J$ . So one interpretation of the assumption by Wilks is that he is assuming the stronger assumption that the probability model is correctly specified.

— RMG
source