Pourquoi le maximum de vraisemblance restreint donne-t-il une meilleure estimation (non biaisée) de la variance?

Je lis le document de théorie de Doug Bates sur le package lme4 de R pour mieux comprendre les moindres détails des modèles mixtes, et suis tombé sur un résultat intrigant que j'aimerais mieux comprendre, à propos de l'utilisation du maximum de vraisemblance restreint (REML) pour estimer la variance .

Dans la section 3.3 sur le critère REML, il déclare que l'utilisation de REML dans l'estimation de la variance est étroitement liée à l'utilisation d'une correction des degrés de liberté lors de l'estimation de la variance par rapport aux écarts résiduels dans un modèle linéaire ajusté. En particulier, "bien que ce ne soit généralement pas dérivé de cette manière", les degrés de correction de liberté peuvent être dérivés en estimant la variance par l'optimisation d'un "critère REML" (Eq. (28)). Le critère REML est essentiellement juste la probabilité, mais les paramètres d'ajustement linéaire ont été éliminés en marginalisant (au lieu de les fixer égaux à l'estimation d'ajustement, ce qui donnerait la variance de l'échantillon biaisé).

J'ai fait le calcul et vérifié le résultat revendiqué pour un modèle linéaire simple avec seulement des effets fixes. Ce qui me pose problème, c'est l'interprétation. Existe-t-il une perspective à partir de laquelle il est naturel de dériver une estimation de la variance en optimisant une probabilité où les paramètres d'ajustement ont été marginalisés? Cela ressemble à une sorte de bayésien, comme si je pensais à la probabilité en tant que postérieur et que je marginalisais les paramètres d'ajustement comme s'il s'agissait de variables aléatoires.

Ou la justification est-elle principalement mathématique - elle fonctionne dans le cas linéaire mais est également généralisable?

$n-1$

Les effets fixes déterminent le modèle «pour la moyenne», donc, si vous pouvez trouver une estimation de la variance qui a été dérivée sans estimer la moyenne à partir des données (en «marginalisant les effets fixes (c'est-à-dire la moyenne)»), alors cette sous-estimation de l'écart (c.-à-d. la variance) sera atténué.

C'est la compréhension «intuitive» pourquoi les estimations REML éliminent le biais; vous trouvez une estimation de la variance sans utiliser la «moyenne estimée».

Consultez l'ANNEXE: LA MÉTHODE D'ESTIMATION REML à partir de cette ressource SAS de l'auteur David Dickey.

" Nous pouvons toujours trouver (n-1) nombres Z avec une moyenne connue 0 et la même somme de carrés et la variance théorique que les n valeurs Y. Cela motive la division de la somme Z des carrés par le nombre de Z, qui est n -1. "

Quand j'étais à l'école, REML était considéré comme la meilleure chose depuis le pain tranché. En étudiant le paquet lme4 , j'ai appris qu'il ne généralisait pas vraiment bien et que ce n'était peut-être pas si important dans le grand schéma des choses.