Quelle est la différence entre les effets aléatoires, les effets fixes et le modèle marginal?

J'essaie d'élargir mes connaissances en statistiques. Je viens d'un milieu de sciences physiques avec une approche de test statistique "basée sur des recettes", où nous disons que le test est continu, qu'il est distribué normalement - régression MLS .

Dans ma lecture, j'ai rencontré les termes: modèle à effets aléatoires, modèle à effets fixes, modèle marginal. Mes questions sont:

En termes très simples, quels sont-ils?
Quelles sont les différences entre eux?
Certains d'entre eux sont-ils synonymes?
Où se situent les tests traditionnels tels que la régression OLS, l'ANOVA et l'ANCOVA dans cette classification?

J'essaie juste de décider où aller avec l'auto-étude.

random-effects-model fixed-effects-model marginal

— N26
source

Intérêt possible: Quelle est la différence entre les modèles à effets fixes, à effets aléatoires et à effets mixtes?

— chl

@gung: La réponse à laquelle vous allez attribuer la prime dépasse de loin toutes les réponses du fil "principal" sur les différences entre les effets fixes / aléatoires (liées dans le commentaire ci-dessus). Cette question a plus de 40 votes positifs et une réponse acceptée avec 25 votes positifs, ce qui n’est malheureusement pas très utile. Devrions-nous peut-être fusionner ces discussions? J'imagine que cela signifierait que l'OP N26 perdra la question, mais leur compte ne semble plus être actif de toute façon. Je ne sais pas quel est le meilleur plan d'action.

— amibe dit de réintégrer Monica

Merci @ amoeba, je pense que cela mérite également plus d'attention. Il me semble que cette question, bien que portant le même titre, est en fait légèrement différente (et peut-être mal nommée). Je n'ai pas le pouvoir de les fusionner. Je viens juste d'ajouter un commentaire lié à ce fil. Pourquoi ne pas poser la question de savoir quoi faire avec ces discussions sur meta.CV et nous verrons ce que les gens pensent?

— Gay - Rétablir Monica

Réponses:

Cette question a été partiellement discutée sur ce site comme ci-dessous, et les opinions semblent mitigées.

Tous les termes sont généralement liés à des données longitudinales / panel / cluster / hiérarchique et à des mesures répétées (dans le format de régression avancée et ANOVA), mais ont plusieurs significations dans un contexte différent. Je voudrais répondre à la question dans des formules basées sur mes connaissances.

Modèle à effets fixes

En biostatistique, les effets fixes, notés dans l'équation (*) ci-dessous, viennent généralement avec des effets aléatoires. Toutefois, le modèle à effets fixes est également défini pour supposer que les observations sont indépendantes, comme dans le cas d'une analyse transversale, comme dans l' analyse de données longitudinales de Hedeker et Gibbons (2006). $\color{red}{\boldsymbol\beta}$
En économétrie, le modèle à effets fixes peut être écrit ainsi: où est une interception fixe (et non aléatoire) pour chaque sujet ( ), ou nous pouvons également avoir un effet fixe comme pour chaque mesure répétée ( ); dénote des covariables. $y_{i j} = x_{i j}^{^{'}} β + u_{i} + ϵ_{i j}$ $y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$ $\color{red}{u_i}$ $i$ $u_j$ $j$ $\boldsymbol x_{ij}$
Dans la méta-analyse, le modèle à effets fixes suppose que l'effet sous-jacent est le même dans toutes les études (par exemple, Mantel et Haenszel, 1959).

Modèle à effets aléatoires

En biostatistique, le modèle à effets aléatoires (Laird et Ware, 1982) peut être écrit sous la forme où est censé suivre une distribution. indique les covariables pour les effets fixes et indique les covariables pour les effets aléatoires. $\begin{matrix} (*) & y_{i j} = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} + e_{i j} \end{matrix}$ $\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$ $\color{blue}{\boldsymbol u_i}$ $\boldsymbol x_{ij}$ $\boldsymbol z_{ij}$
En économétrie, le modèle à effets aléatoires peut uniquement désigner un modèle à interception aléatoire comme dans la biostatistique, c'est-à-dire que et que est un scalaire. $\boldsymbol z_{ij}^{'}=1$ $\boldsymbol u_i$
Dans la méta-analyse, le modèle à effets aléatoires suppose des effets hétérogènes d'une étude à l'autre (DerSimonian et Laird, 1986).

Modèle marginal

Le modèle marginal est généralement comparé au modèle conditionnel (modèle à effets aléatoires) et le premier se concentre sur la moyenne de la population (prenons un modèle linéaire par exemple). tandis que ce dernier traite de la moyenne conditionnelleL'interprétation et l'échelle des coefficients de régression entre modèle marginal et modèle à effets aléatoires seraient différentes pour les modèles non linéaires (par exemple, la régression logistique). Soit , puis

E (y_{i j}) = x_{i j}^{^{'}} β,

$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$

E (y_{i j} | u_{i}) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} .

$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$

h (E (y_{i j} | u_{i})) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i}

$h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$

E (y_{i j}) = E (E (y_{i j} | u_{i})) = E (h^{- 1} (x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i})) \neq h^{- 1} (x_{i j}^{^{'}} β),

$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$ sauf si la fonction de lien est le lien d'identité (modèle linéaire ) ou (pas d’effet aléatoire). De bons exemples incluent les équations d'estimation généralisées (GEE; Zeger, Liang et Albert, 1988) et les modèles multiniveaux marginalisés (Heagerty et Zeger, 2000).

h

$h$

u_{i} = 0

$u_i=0$

— Randel
source

Merci Randel. Encore une question sur la terminologie «modèle mixte». Autant que je sache, dans la biostatistique, votre équation (*) serait appelée un modèle mixte car elle contient des effets aléatoires et fixes. Est-ce exact? Mais le terme "modèle mixte" est-il également utilisé en économétrie? Si oui, de quoi s'agit-il?

— amibe dit de réintégrer Monica

Oui, l'équation (*) est aussi appelée modèle mixte en (bio) statistiques. Pour autant que je sache, l'économétriste ne l'appellera peut-être pas un "modèle mixte", mais un "modèle à effets aléatoires" ou un "modèle à coefficients aléatoires" s'il s'intéresse à l'hétérogénéité des grappes. Pour moi, la seule différence est l'hypothèse de l'effet spécifique à un cluster, fixe ou aléatoire.

— Randel

@skan indique les covariables pour les effets aléatoires. C'est un vecteur, et est la transposée.

z_{i j}

$\boldsymbol z_{ij}$

z_{i j}^{^{'}}

$\boldsymbol z_{ij}^{'}$

— Randel

Voici un exemple détaillé. J'espère que ça aide. @skan

— Randel

@skan Il n'est pas suggéré d'avoir les deux, cela suffit. Voici un exemple parfait.

— Randel

Corrigez-moi si je me trompe ici:

Conceptuellement, il y a quatre effets possibles: interception fixe, coefficient fixe, interception aléatoire, coefficient aléatoire. La plupart des modèles de régression sont des «effets aléatoires», ils ont donc des interceptions et des coefficients aléatoires. Le terme «effet aléatoire» est entré en usage par opposition à «effet fixe».

On appelle «effet fixe» lorsqu'une variable affecte une partie de l'échantillon, mais pas la totalité. La version la plus simple d'un modèle à effet fixe (conceptuellement) serait une variable factice, pour un effet fixe avec une valeur binaire. Ces modèles ont une interception aléatoire unique, des coefficients à effets fixes et des coefficients de variables aléatoires.

Le niveau suivant de complication (conceptuellement) est celui où l'effet fixe n'est pas binaire, mais nominal, avec de nombreuses valeurs. Dans ce cas, ce qui est généré est un modèle avec de nombreuses intersections (une pour chacune des valeurs nominales). Vous obtenez ici les "lignes multiples" classiques d'un modèle de données de panel , dans lesquelles chacune des "options" d'une variable à effet fixe obtient son propre effet. L'avantage de regrouper toutes les séries de données spécifiques à un facteur dans une seule régression (plutôt que de traiter chaque facteur de l'effet fixe comme sa propre régression) est que vous pouvez regrouper la variance de tous les effets différents dans une équation, et ainsi de suite. obtenir de meilleures valeurs (plus certaines) pour tous vos coefficients.

Le «troisième niveau» de complication serait le cas où «l'effet fixe» est lui-même une variable aléatoire, sauf que ses effets sont «fixés» pour n'affecter qu'un sous-ensemble de l'échantillon. A ce stade, le modèle aurait une interception aléatoire, plusieurs interceptions fixes et plusieurs variables aléatoires. Je pense que c'est ce qu'on appelle un modèle à «effets mixtes»?

Les modèles à «effets mixtes» sont utilisés pour la modélisation à plusieurs niveaux (MLM), car les «effets fixes» peuvent être utilisés pour imbriquer un sous-ensemble de données dans un autre. Ce groupe peut avoir plusieurs niveaux, avec des étudiants imbriqués dans des salles de classe, imbriqués dans des écoles. L'école est un effet fixe sur les salles de classe et les salles de classe sur les élèves. (L'école peut être ou ne pas être un effet fixe sur l'élève, en fonction de la conception expérimentale - pas sûr)

Les modèles de données de panel sont des modèles «à effets mixtes», mais utilisent deux dimensions pour le regroupement, généralement le temps et une sorte de catégorie.

— Mox
source

Vous n'êtes pas sûr de ce que vous entendez par "Les effets fixes couvrent des" ensembles "de choix: A ou B; ... Les effets aléatoires incluent des éléments tels que le poids corporel". Voulez-vous dire que les effets fixes sont pour les variables discrètes, les effets aléatoires sont pour les variables continues? Également incertain de la raison pour laquelle "utiliser plusieurs variables nominales pour la même chose est statistiquement inapproprié". Le modèle à effets fixes en économétrie comporte une variable muette pour chaque "panneau". Je ne peux pas être d'accord avec les "modèles" mixtes "... Ayant des interceptions" fixes "par regroupement, ils n'ont plus d'interception aléatoire". De nombreux modèles à effets mixtes ont une interception aléatoire.

— Randel

Ma compréhension est imparfaite. Je vais modifier ma réponse et réessayer.

— Mox

Est-il possible qu'une variable apparaisse simultanément comme effet fixe et comme effet aléatoire?

— skan

< theanalysisfactor.com/mixed-models-predictor-both-fixed-random > dit que oui.

— Mox