Quelle est la différence mathématique entre les effets aléatoires et les effets fixes?

26

J'ai trouvé beaucoup de choses sur Internet concernant l'interprétation des effets aléatoires et fixes. Cependant, je n'ai pas pu obtenir une source épinglant ce qui suit:

Quelle est la différence mathématique entre les effets aléatoires et les effets fixes?

J'entends par là la formulation mathématique du modèle et la façon dont les paramètres sont estimés.

— jokel
source

1

Eh bien, les effets fixes affectent la moyenne d'une distribution conjointe et les effets aléatoires affectent la variance et la structure d'association. Qu'entendez-vous exactement par «différence mathématique»? Demandez-vous comment la probabilité change? Peux-tu être plus précis?

— Macro

D'intérêt possible: quelle est la différence entre les effets aléatoires, les effets fixes et le modèle marginal?

— gung - Rétablir Monica

1

Également lié: Quelle est la différence entre les modèles à effet fixe, à effet aléatoire et à effet mixte?

— amibe dit Réintégrer Monica

1

La question ne semble pas distinguer le fond dont elle est tirée. Cette terminologie dans Panel Data Economics est différente de celle des autres sciences sociales utilisant des modèles à plusieurs niveaux. La question nécessite des éclaircissements supplémentaires. Sinon, cela est trompeur pour ceux qui arrivent ici de l'un ou l'autre milieu sans savoir qu'il existe une autre définition dans un domaine connexe.

— luchonacho

21

Le modèle le plus simple à effets aléatoires est le modèle ANOVA unidirectionnel à effets aléatoires, donné par les observations avec des hypothèses de distribution: $y_{ij}$

(y_{je j} ∣ μ_{je}) \sim_{iid} N (μ_{je}, σ_{w}^{2}), j = 1, \dots, J, μ_{je} \sim_{iid} N (μ, σ_{b}^{2}), je = 1, \dots, je .

$(y_{ij} \mid \mu_i) \sim_{\text{iid}} {\cal N}(\mu_i, \sigma^2_w), \quad j=1,\ldots,J, \qquad \mu_i \sim_{\text{iid}} {\cal N}(\mu, \sigma^2_b), \quad i=1,\ldots,I.$

Ici, les effets aléatoires sont les . Ce sont des variables aléatoires, alors que ce sont des nombres fixes dans le modèle ANOVA avec des effets fixes. $\mu_i$

Par exemple, chacun des trois techniciens dans un laboratoire enregistre une série de mesures, et est la ème mesure du technicien . Appelez la "vraie valeur moyenne" de la série générée par le technicien ; il s'agit d'un paramètre légèrement artificiel, vous pouvez voir comme la valeur moyenne que le technicien aurait obtenu s'il avait enregistré une énorme série de mesures. $i=1,2,3$ $y_{ij}$ $j$ $i$ $\mu_i$ $i$ $\mu_i$ $i$

Si vous souhaitez évaluer , , (par exemple pour évaluer le biais entre opérateurs), alors vous devez utiliser le modèle ANOVA à effets fixes. $\mu_1$ $\mu_2$ $\mu_3$

Vous devez utiliser le modèle ANOVA avec des effets aléatoires lorsque vous êtes intéressé par les variances et définissant le modèle, et la variance totale (voir ci-dessous). La variance est la variance des enregistrements générés par un technicien (elle est supposée être la même pour tous les techniciens), et $\sigma^2_w$ $\sigma^2_b$ $\sigma^2_b+\sigma^2_w$ $\sigma^2_w$ est appelée la variance entre techniciens. Idéalement, les techniciens devraient être choisis au hasard. $\sigma^2_b$

Ce modèle reflète la formule de décomposition de la variance pour un échantillon de données: entrez la description de l'image ici

Variance totale = variance des moyennes moyennes des intra-variances $+$

qui se traduit par le modèle ANOVA avec des effets aléatoires: entrez la description de l'image ici

En effet, la distribution de est définie par sa distribution conditionnelle donnée et par la distribution de . Si l'on calcule la distribution "inconditionnelle" de alors on trouve . $y_{ij}$ $(y_{ij})$ $\mu_i$ $\mu_i$ $y_{ij}$ $\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Voir diapositive 24 et diapositive 25 ici pour de meilleures photos (vous devez enregistrer le fichier pdf pour apprécier les superpositions, ne regardez pas la version en ligne).

— Stéphane Laurent
source

1

(+1) Très belles figures!

— Amoeba dit Reinstate Monica

1

Merci @amoeba, mon code pour les moments d'inertie est disponible sur mon blog: stla.github.io/stlapblog/posts/Variance_inertia.html

— Stéphane Laurent

μ

$\mu$

σ

$\sigma$

σ

$\sigma$

σ

$\sigma$

σ

$\sigma$

μ_{i}

$\mu_i$

σ_{b}^{2}

$\sigma_b^2$

μ_{i}

$\mu_i$

σ_{w}^{2}

$\sigma_w^2$

16

Fondamentalement, ce que je pense être la différence la plus nette si vous modélisez un facteur comme aléatoire, c'est que les effets sont supposés être tirés d'une distribution normale commune.

Par exemple, si vous avez une sorte de modèle concernant les notes et que vous voulez tenir compte des données de vos élèves provenant de différentes écoles et que vous modélisez l'école comme un facteur aléatoire, cela signifie que vous supposez que les moyennes par école sont normalement distribuées. Cela signifie que deux sources de variation sont modélisées: la variabilité à l'école des notes des élèves et la variabilité entre les écoles.

Il en résulte quelque chose appelé regroupement partiel . Considérez deux extrêmes:

L'école n'a aucun effet (la variabilité entre les écoles est nulle). Dans ce cas, un modèle linéaire qui ne tient pas compte de l'école serait optimal.
La variabilité des écoles est plus grande que la variabilité des élèves. Ensuite, vous devez essentiellement travailler au niveau de l'école plutôt qu'au niveau des élèves (moins de # échantillons). Il s'agit essentiellement du modèle où vous tenez compte de l'école en utilisant des effets fixes. Cela peut être problématique si vous avez peu d'échantillons par école.

En estimant la variabilité aux deux niveaux, le modèle mixte fait un compromis intelligent entre ces deux approches. Surtout si vous avez un nombre d'élèves par école moins important, cela signifie que vous obtiendrez un rétrécissement des effets pour les écoles individuelles estimés par le modèle 2 vers la moyenne globale du modèle 1.

C'est parce que les modèles indiquent que si vous avez une école avec deux élèves inclus, ce qui est mieux que ce qui est «normal» pour la population des écoles, il est probable qu'une partie de cet effet s'explique par le fait que l'école a eu de la chance dans le choix. des deux étudiants regarda. Il ne le fait pas aveuglément, il le fait en fonction de l'estimation de la variabilité intra-scolaire. Cela signifie également que les niveaux d'effet avec moins d'échantillons sont plus fortement attirés vers la moyenne globale que les grandes écoles.

L'important est que vous ayez besoin d'échangeabilité aux niveaux du facteur aléatoire. Cela signifie dans ce cas que les écoles sont (à votre connaissance) échangeables et que vous ne savez rien qui les distingue (à part une sorte de pièce d'identité). Si vous avez des informations supplémentaires, vous pouvez les inclure comme facteur supplémentaire, il suffit que les écoles soient échangeables sous réserve des autres informations prises en compte.

Par exemple, il serait logique de supposer que les adultes de 30 ans vivant à New York sont échangeables sous réserve du sexe. Si vous avez plus d'informations (âge, origine ethnique, éducation), il serait logique d'inclure également ces informations.

OTH si vous avez étudié avec un groupe témoin et trois groupes de maladies très différents, il n'est pas logique de modéliser le groupe comme aléatoire car une maladie spécifique n'est pas échangeable. Cependant, beaucoup de gens aiment si bien l'effet de retrait qu'ils plaideraient toujours pour un modèle d'effets aléatoires, mais c'est une autre histoire.

Je remarque que je ne me suis pas trop intéressé aux mathématiques, mais fondamentalement la différence est que le modèle à effets aléatoires a estimé une erreur normalement distribuée à la fois au niveau des écoles et au niveau des élèves tandis que le modèle à effet fixe a l'erreur juste sur le niveau des étudiants. Cela signifie en particulier que chaque école a son propre niveau qui n'est pas connecté aux autres niveaux par une distribution commune. Cela signifie également que le modèle fixe ne permet pas d'extrapoler à un élève de l'école non inclus dans les données originales alors que le modèle à effet aléatoire le fait, avec une variabilité qui est la somme du niveau de l'élève et de la variabilité du niveau de l'école. Si vous êtes spécifiquement intéressé par la probabilité que nous puissions y travailler.

— Erik
source

1

(+1) Une excellente réponse, qui est étonnamment sous-votée. J'ai remarqué une faute de frappe: "exclus" devrait se lire "inclus". En dehors de cela: quelle serait la différence pratique attendue entre le fait de traiter l'école comme un effet aléatoire par rapport à un effet fixe? Je comprends que le traitement comme fixe ne permettrait pas de prédire la performance d'un élève d'une nouvelle école, mais qu'en est-il des différences sur les données disponibles? Disons que d'autres effets fixes sont le sexe, la race et le poids des élèves (peu importe). Le fait de traiter l'école comme aléatoire / fixe influence-t-il le pouvoir des principaux effets ou interactions d'intérêt? D'autres différences?

— Amoeba dit Reinstate Monica

3

@amoeba En laissant de côté la cohérence, l'ESM sur un coefficient au niveau de l'élève peut être plus ou moins efficace dans un modèle à effets aléatoires ou à effets fixes en fonction, entre autres, du niveau de corrélation entre l'élève X et l'effet aléatoire, les nombres de grappes, etc. . Clark et Linzer 2012 a simulation des résultats.

— conjugateprior

1

@conjugateprior Wow, merci beaucoup pour ce commentaire! J'ai lu le document lié et c'est l'explication la plus claire du problème que j'ai vue. J'ai passé beaucoup de temps à lire différents fils ici sur CV sur les effets fixes / aléatoires, mais je n'ai pas pu déterminer quand on devrait les utiliser les uns par rapport aux autres et pourquoi. La lecture de C&L a rendu beaucoup de choses beaucoup plus claires pour moi. Voulez-vous peut-être écrire une réponse quelque part sur le CV présentant le résumé de ce document et / ou des documents connexes? J'exécute une prime sur le fil [modèle mixte] le plus voté et je serai heureux de vous en attribuer un autre là aussi.

— amibe dit Réintégrer Monica

@Erik, j'ai modifié pour corriger "scolarisation partielle" en "regroupement partiel". Je pense que c'était une faute de frappe mais excuses si c'était un jeu de mots intentionnel!

— amibe dit Réintégrer Monica

2

En zone écon, ces effets sont des interceptions (ou constantes) spécifiques à chaque individu qui ne sont pas observées, mais peuvent être estimées à l'aide de données de panel (observation répétée sur les mêmes unités dans le temps). La méthode d'estimation des effets fixes permet une corrélation entre les intersections spécifiques à l'unité et les variables explicatives indépendantes. Les effets aléatoires ne le font pas. Le coût d'utilisation des effets fixes plus flexibles est que vous ne pouvez pas estimer le coefficient sur des variables invariantes dans le temps (comme le sexe, la religion ou la race).

NB D'autres domaines ont leur propre terminologie, ce qui peut être assez déroutant.

— Dimitriy V. Masterov
source

(-1) cela ne dit rien sur la différence mathématique entre les effets fixes et aléatoires

— Macro

1

@Macro est d'accord. Avant cela, il serait utile de savoir si la terminologie econ correspond à ce que l'OP recherche. J'aurais dû être plus clair là-dessus.

— Dimitriy V. Masterov

D'ACCORD. Dans ce cas, cela peut être plus approprié en tant que commentaire, ne diriez-vous pas?

— Macro

L'énoncé «Le coût d'utilisation des effets fixes plus flexibles est que vous ne pouvez pas estimer le coefficient sur des variables invariantes dans le temps» n'est tout simplement pas vrai. Je viens de faire une simulation où vous avez répété des mesures sur des individus et un seul prédicteur binaire qui ne varie pas dans le temps. Si vous incluez un effet fixe pour ID et un pour le prédicteur binaire, vous pouvez très certainement estimer le coefficient sur le prédicteur binaire (bien que, je l'admets, si vous n'avez pas beaucoup de mesures répétées, l'estimation a un grande erreur standard).

— Macro

3

Andrew Gelman (qui n'est pas économiste), énumère 5 définitions distinctes dans son document ANOVA: stat.columbia.edu/~gelman/research/published/banova7.pdf .

— Dimitriy V. Masterov

2

Dans un progiciel standard (par exemple R lmer), la différence de base est:

les effets fixes sont estimés par maximum de vraisemblance (moindres carrés pour un modèle linéaire)
les effets aléatoires sont estimés par des Bayes empiriques (moindres carrés avec un certain retrait pour un modèle linéaire, où le paramètre de retrait est choisi par maximum de vraisemblance)

Si vous êtes bayésien (par exemple WinBUGS), il n'y a pas de réelle différence.

— Simon Byrne
source

3

Je ne suis pas du tout d'accord qu'il n'y ait pas de différence. Vous pouvez adapter un modèle à effets fixes bayésien avec tous les coefficients ayant des a priori séparés ou un modèle mixte bayésien où il y a des hyperparamètres.

— Erik

Si vous êtes bayésien, la différence ressemble à ceci .

— conjugateprior

@Simon c'est une réponse précise et croustillante. J'aurais dû le mentionner depuis longtemps.

— Subhash C. Davar

-3

@Joke Un modèle à effets fixes implique que la taille d'effet générée par une étude (ou une expérience) est fixe, c'est-à-dire que les mesures répétées pour une intervention donnent la même taille d'effet. Les conditions externes et internes de l'expérience ne changent probablement pas. Si vous avez un certain nombre d'essais et / ou d'études dans des conditions différentes, vous aurez différentes tailles d'effet. Les estimations paramétriques de la moyenne et de la variance pour un ensemble de tailles d'effet peuvent être réalisées en supposant qu'il s'agit d'effets fixes ou d'effets aléatoires (réalisés à partir d'une superpopulation). Je pense que c'est une question qui peut être résolue à l'aide de statistiques mathématiques.

— Subhash C. Davar
source