Qu'est-ce que le «maximum de vraisemblance restreint» et quand doit-il être utilisé?

73

J'ai lu dans le résumé de cet article que:

"La procédure de maximum de vraisemblance (ML) de Hartley aud Rao est modifiée en adaptant une transformation de Patterson et Thompson qui partage la vraisemblance en normalisant la normalité en deux parties, l’une étant exempte d’effets fixes. Maximiser cette partie donne ce que l’on appelle le maximum de vraisemblance restreint. (REML) estimateurs. "

J'ai aussi lu dans le résumé de cet article que REML:

"prend en compte la perte en degrés de liberté résultant de l'estimation des effets fixes."

Malheureusement, je n'ai pas accès au texte intégral de ces documents (et je ne comprendrais probablement pas si je le faisais).

En outre, quels sont les avantages de REML par rapport à ML? Dans quelles circonstances peut-on préférer REML à ML (ou inversement) lors de l’ajustement d’un modèle à effets mixtes? S'il vous plaît donner une explication appropriée pour quelqu'un avec une formation en mathématiques au lycée (ou juste au-delà)!

mixed-model maximum-likelihood reml

— Joe King
source

voir stats.stackexchange.com/questions/99895/…

62

Selon la réponse d'Ocram, ML est biaisé pour l'estimation des composantes de la variance. Mais observons que le biais diminue pour des échantillons de plus grande taille. Par conséquent, en réponse à vos questions, " ... quels sont les avantages de REML par rapport à ML? Dans quelles circonstances peut-on préférer REML à ML (ou inversement) lors de l'ajustement d'un modèle à effets mixtes? ", Pour des échantillons de petite taille, on préfère REML. Cependant, les tests de rapport de vraisemblance pour REML nécessitent exactement les mêmes spécifications d'effets fixes dans les deux modèles. Donc, pour comparer des modèles avec différents effets fixes (un scénario commun) avec un test de LR, ML doit être utilisé.

REML prend en compte le nombre de paramètres (effets fixes) estimés, en perdant 1 degré de liberté pour chacun. Ceci est obtenu en appliquant ML aux résidus des moindres carrés, qui sont indépendants des effets fixes.

— Robert Long
source

8

En effet, l'estimateur REML d'une composante de variance est généralement (approximativement) non biaisé, alors que l'estimateur ML est biaisé négativement. Cependant, l'estimateur ML a généralement une erreur quadratique moyenne (EMM) plus faible que l'estimateur REML. Donc, si vous voulez avoir raison en moyenne, optez pour REML, mais vous payez pour cela avec une plus grande variabilité dans les estimations. Si vous voulez vous rapprocher de la valeur réelle en moyenne, optez pour ML, mais vous payez pour cela avec un biais négatif.

— Wolfgang

3

Dans le cas simple d'une moyenne et d'une variance constantes, ML divise SSR avec tandis que REML divise SSR avec . Donc, REML est une généralisation de cette procédure!

n

$n$

(n - 1)

$(n-1)$

— kjetil b halvorsen

"ML est biaisé pour l'estimation des composantes de la variance". Est-ce que cela signifie la variance des effets aléatoires ou aussi les erreurs types des coefficients à effets fixes?

— skan

54

Voici une réponse rapide ...

Exemple illustratif standard

Soit un échantillon d’une distribution normale ). Les deux et ne sont pas connus. L'estimateur de vraisemblance maximale de , obtenu en prenant la dérivée de log-vraisemblance par rapport à et égal à zéro, est où est l'estimateur du maximum de vraisemblance de . Nous pouvons montrer que [ Commencez par réécrire $y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ comme ]. Ainsi, est biaisé. Notez que si nous avions connu , alors le MLE pour aurait été non biaisé. Par conséquent, le problème avec semble être lié au fait que nous avons substitué à la moyenne inconnue dans l'estimation . L'idée intuitive de l'estimation REML est de se retrouver avec une probabilité qui contient toutes les informations sur mais ne contient plus les informations sur .

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

Plus techniquement, la probabilité REML est une probabilité de combinaisons linéaires des données d'origine: au lieu de la probabilité de , considérons la probabilité de , où la matrice est telle que . $y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

L'estimation REML est souvent utilisée dans le contexte plus complexe des modèles mixtes. Chaque livre sur les modèles mixtes comporte une section expliquant plus en détail l'estimation de REML.

Modifier

@ Joe King: Voici l' un de mes livres préférés sur les modèles mixtes entièrement disponible en ligne. La section 2.4.2 traite de l'estimation des composantes de la variance. Bonne lecture :-)

— ocram
source

Merci - cela est utile - même si je n’ai pas facilement accès à des livres sur des modèles mixtes. Pouvez-vous relier votre réponse aux 2 citations de mon post?

— Joe King

Je me demande comment un gaussien multivarié change l'histoire? stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

La méthode ML sous-estime les paramètres de variance car elle suppose que les paramètres fixes sont connus sans incertitude lors de l’estimation des paramètres de variance.

La méthode REML utilise une astuce mathématique pour établir les estimations des paramètres de variance indépendamment des estimations des effets fixes. REML fonctionne en obtenant d’abord les résidus de régression pour les observations modélisées par la partie effets fixes du modèle, en ignorant à ce stade toutes les composantes de la variance.

Les estimations de niveau maximal sont non biaisées pour les effets fixes, mais biaisées pour les effets aléatoires, tandis que les estimations du niveau REML sont biaisées pour les effets fixes et non biaisées pour les effets aléatoires.

— skan
source