Pourquoi les effets aléatoires sont-ils réduits à 0?

10

Y a-t-il une raison intuitive pour que les effets aléatoires soient réduits à leur valeur attendue dans le modèle mixte linéaire général?

mixed-model random-effects-model

— user7064
source

Pouvez-vous fournir un peu plus de contexte pour cette question?

— Macro

Les valeurs prévues à partir de modèles à effet aléatoire sont des estimateurs de retrait ; il y aura peu de rétrécissement lorsque les unités statistiques sont différentes, ou lorsque les mesures sont précises, ou avec un grand échantillon. Est-ce ce que vous recherchez ou voulez-vous vraiment dire un rétrécissement vers la valeur attendue?

— chl

3

Je suggérerais un article plus ancien de Bradley Efron et Carl Morris, Paradox in Statistics de Stein (1977) (un PDF en ligne est ici ). Je ne sais pas si c'est intuitif, mais c'est une introduction assez douce (avec des exemples réels) dans le concept de rétrécissement.

— Andy W

4

de manière générale, la plupart des «effets aléatoires» se produisent dans des situations où il existe également un «effet fixe» ou une autre partie du modèle. Le modèle mixte linéaire général ressemble à ceci:

y_{i} = x_{i}^{T} β + z_{i}^{T} u + ϵ_{i}

$y_i=x_i^T\beta+z_i^Tu+\epsilon_i$

Où est les "effets fixes" et les "effets aléatoires". Clairement, la distinction ne peut se faire qu'au niveau conceptuel, ou dans la méthode d'estimation de et . Car si je définis un nouvel "effet fixe" et alors I avoir une régression linéaire ordinaire: $\beta$ $u$ $u$ $\beta$ $\tilde{x}_i=(x_i^T,z_i^T)^T$ $\tilde{\beta}=(\beta^T,u^T)^T$

y_{je} = {\tilde{X}}_{je}^{T} \tilde{β} + ϵ_{je}

$y_i=\tilde{x}_i^T\tilde{\beta}+\epsilon_i$

Il s'agit souvent d'un réel problème pratique lorsqu'il s'agit d'adapter des modèles mixtes lorsque les objectifs conceptuels sous-jacents ne sont pas clairs. Je pense que le fait que les effets aléatoires soient réduits à zéro et que les effets fixes ne sont pas utiles ici. Cela signifie que nous aurons tendance à privilégier le modèle avec seulement inclus (c'est-à-dire ) lorsque les estimations de ont une faible précision dans la formulation OLS, et tendons à privilégier la formulation OLS complète lorsque les estimations ont une précision élevée. $u$ $\beta$ $\beta$ $u=0$ $u$ $u$

— probabilitéislogique
source

2

Votre question ne répond-elle pas d'elle-même? Si une valeur est attendue, alors une technique qui rapproche les valeurs de celle-ci serait la meilleure.

Une réponse simple vient de la loi des grands nombres. Disons que les sujets sont votre effet aléatoire. Si vous exécutez les sujets A à D dans 200 essais et le sujet E dans 20 essais, quelle performance moyenne mesurée du sujet pensez-vous est plus représentative de mu? La loi des grands nombres prédirait que les performances du sujet E seront plus susceptibles de dévier d'une plus grande quantité de mu que de A à D. Cela peut ou non, et n'importe lequel des sujets pourrait dévier, mais nous serions beaucoup plus justifié de réduire l'effet du sujet E vers le sujet A à D que l'inverse. Ainsi, les effets aléatoires qui sont plus grands et ont des N plus petits ont tendance à être ceux qui sont le plus rétrécis.

De cette description vient aussi pourquoi les effets fixes ne sont pas réduits. C'est parce qu'ils sont fixes, il n'y en a qu'un dans le modèle. Vous n'avez aucune référence pour le réduire. Vous pouvez utiliser une pente de 0 comme référence, mais ce n'est pas vers cela que les effets aléatoires sont réduits. Ils sont vers une estimation globale telle que mu. L'effet fixe que vous avez de votre modèle est cette estimation.

— John
source

1

Je pense qu'il pourrait être utile à votre intuition de considérer un modèle mixte comme un modèle hiérarchique ou à plusieurs niveaux . Au moins pour moi, cela a plus de sens lorsque je pense à l'imbrication et à la façon dont le modèle fonctionne au sein et entre les catégories de manière hiérarchique.

EDIT: Macro, j'avais laissé cela un peu ouvert car cela m'aide à le voir plus intuitivement, mais je ne suis pas sûr que ce soit correct. Mais pour l'étendre dans des directions éventuellement incorrectes ...

Je le considère comme des effets fixes faisant la moyenne entre les catégories et des effets aléatoires distinguant les catégories. Dans un certain sens, les effets aléatoires sont des «grappes» qui partagent certaines caractéristiques, et des grappes plus grandes et plus compactes auront une plus grande influence sur la moyenne au niveau supérieur.

Avec OLS faisant l'ajustement (par phases, je crois), des "clusters" à effets aléatoires plus grands et plus compacts tireront donc l'ajustement plus fortement vers eux-mêmes, tandis que des "clusters" plus petits ou plus diffusés tireront l'ajustement moins. Ou peut-être que l'ajustement commence plus près de "grappes" plus grandes et plus compactes puisque la moyenne de niveau supérieur est plus proche au départ

Désolé, je ne peux pas être plus clair, et peut-être même avoir tort. Cela a un sens pour moi intuitivement, mais en essayant de l'écrire, je ne sais pas si c'est une chose de haut en bas ou de bas en haut, ou quelque chose de différent. S'agit-il de «clusters» de niveau inférieur tirant plus fort sur eux-mêmes, ou d'avoir une plus grande influence sur la moyenne de niveau supérieur - et donc de «se retrouver» plus près de la moyenne de niveau supérieur - ou ni l'un ni l'autre?

Dans les deux cas, j'estime que cela explique pourquoi des catégories de variables aléatoires plus petites et plus diffuses seront tirées plus loin vers la moyenne que des catégories plus grandes et plus compactes.

— Wayne
source

Bonjour Wayne, pouvez-vous développer cela pour décrire comment le rétrécissement peut être (peut-être plus intuitivement) conceptualisé en le considérant comme un modèle hiérarchique?

— Macro

@Macro: OK, je l'ai essayé. Je ne sais pas si cela rend la réponse meilleure ou pire, cependant.

— Wayne