Pourquoi la régression bêta / dirichlet n'est pas considérée comme un modèle linéaire généralisé?

La prémisse est cette citation de la vignette du package R betareg¹ .

De plus, le modèle partage certaines propriétés (telles que le prédicteur linéaire, la fonction de lien, le paramètre de dispersion) avec les modèles linéaires généralisés (GLM; McCullagh et Nelder 1989), mais ce n'est pas un cas particulier de ce cadre (pas même pour une dispersion fixe )

Cette réponse fait également allusion au fait:

[...] Il s'agit d'un type de modèle de régression qui convient lorsque la variable de réponse est distribuée en Bêta. Vous pouvez le considérer comme analogue à un modèle linéaire généralisé. C'est exactement ce que vous recherchez [...] (c'est moi qui souligne)

Le titre de la question dit tout: pourquoi la régression bêta / dirichlet n'est pas considérée comme des modèles linéaires généralisés (n'est-ce pas)?

Pour autant que je sache, le modèle linéaire généralisé définit des modèles basés sur l'attente de leurs variables dépendantes conditionnelles aux variables indépendantes.

$f$ est la fonction de lien qui mappe l'attente, $g$ est la distribution de probabilité, $Y$ les résultats et $X$ les prédicteurs,sont des paramètres linéaires etla variance. $\beta$ $\sigma^2$

f (E (Y ∣ X)) \sim g (β X, I σ^{2})

$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$

Différents GLM imposent (ou relâchent) la relation entre la moyenne et la variance, mais $g$ doit être une distribution de probabilité dans la famille exponentielle, une propriété souhaitable qui devrait améliorer la robustesse de l'estimation si je me souviens bien. Les distributions Beta et Dirichlet font partie de la famille exponentielle, donc je suis à court d'idées.

[1] Cribari-Neto, F. et Zeileis, A. (2009). Régression bêta dans R.

generalized-linear-model beta-regression dirichlet-regression

— Pyromane
source

(+1) Connexes: stats.stackexchange.com/a/189196 .

— Amoeba dit Reinstate Monica

@amoeba Merci pour le lien, je n'avais jamais vu cette question auparavant.

— Firebug

Je pense que le problème est que si vous écrivez la distribution bêta avec les paramètres standard

(c'est-à

dire

implique uniforme (0,1)), alors la distribution bêta est dans la famille exponentielle, si vous l'écrivez en termes de

(moyenne) et

(dispersion), ce n'est pas le cas. Mais je ne me suis jamais autant soucié de savoir si une distribution est dans la famille exponentielle.

a

$a$

b

$b$

a = b = 1

$a = b = 1$

μ

$\mu$

ϕ

$\phi$

— Cliff AB du

@CliffAB Après avoir lu les commentaires sous la réponse de Tim ci-dessous, il semble que le paramétrage de la bêta mène à la non-orthogonalité des paramètres, ce qui semble être une exigence pour les GLM McCullagh-Nelder.

— Firebug

Je pense que cette courte réponse: stats.stackexchange.com/a/18812/28666 est pertinente et ajoute aux réponses ici (faisant allusion à la raison pour laquelle les GLM ont été définis à l'origine avec une famille de dispersion exponentielle).

— amibe dit Réintégrer Monica

Réponses:

Vérifiez la référence d'origine:

Ferrari, S., et Cribari-Neto, F. (2004). Régression bêta pour la modélisation des taux et des proportions. Journal of Applied Statistics, 31 (7), 799-815.

comme le notent les auteurs, les paramètres de la distribution bêta re-paramétrisée sont corrélés, donc

Il est à noter que les paramètres et ne sont pas orthogonaux, contrairement à ce qui est vérifié dans la classe des modèles de régression linéaire généralisée (McCullagh et Nelder, 1989). $\beta$ $\phi$

Ainsi, bien que le modèle ressemble à un GLM et quacks comme un GLM, il ne correspond pas parfaitement au cadre.

— Tim
source

+1 mais ce serait bien d'avoir une réponse plus détaillée. Personnellement, je ne comprends pas la citation (même après avoir ouvert le document lié). Pourquoi ces paramètres ne sont-ils pas orthogonaux dans la régression bêta? .. Pourquoi est-ce requis pour les GLM? .. Etc.

— Amoeba dit Reinstate Monica

@amoeba honnêtement, je ne suis pas le genre de personne qui peut vous donner une réponse détaillée à ce sujet. Je n'ai jamais été autant intéressé par la théorie derrière les GLM pour avoir une compréhension suffisamment profonde de ces subtilités. McCullagh et Nelder mentionnent cette exigence, mais il faudrait que je vérifie leur livre pour voir exactement pourquoi c'est important. Si quelqu'un donne une explication détaillée de la raison pour laquelle il s'agit d'un problème, j'envisagerais d'émettre une prime pour une telle réponse.

— Tim

L'exigence d'orthogonalité dans les GLM est importante: cela signifie que vous pouvez estimer l'équation

sans vous soucier de mal spécifier le reste de la probabilité. Les estimations des paramètres sont cohérentes si l'équation moyenne ci-dessus est correctement spécifiée. L'inférence est valable si en outre la variance est correctement spécifiée. Cependant, en régression bêta, vous ne pouvez pas séparer les deux équations du modèle de cette manière, même si

n'est qu'une constante. Pour des résultats cohérents, tout doit être spécifié correctement.

g (μ) = x^{⊤} β

$g(\mu) = x^\top \beta$

ϕ

$\phi$

— Achim Zeileis

@AchimZeileis Je me suis souvenu avoir vu ton nom sur CV. Ce que vous dites est parfaitement logique. Peut-être aimeriez-vous transformer votre commentaire pour y répondre en ajoutant un peu plus de justification? Comme je l'ai dit, je serais heureux d'accorder une prime à quelqu'un qui donne une réponse suffisamment détaillée pour la question.

— Tim

@Tim va essayer de le faire quand j'aurai plus de temps. C'est pourquoi j'ai pensé qu'un petit commentaire

— valait

La réponse de @probabilityislogic est sur la bonne voie.

La distribution bêta est dans la famille exponentielle à deux paramètres . Les modèles GLM simples décrits par Nelder et Wedderburn (1972) n'incluent pas toutes les distributions dans la famille exponentielle à deux paramètres.

En ce qui concerne l'article de N&W, le GLM s'applique aux fonctions de densité du type suivant (ce fut plus tard nommé famille de dispersion exponentielle dans Jørgensen 1987 ):

π (z; θ, ϕ) = \exp [α (ϕ) {z θ - g (θ) + h (z)} + β (ϕ, z)]

$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$

avec une fonction de liaison supplémentaire et un modèle linéaire pour le paramètre naturel . $f()$ $\theta = f(\mu) = f(X\beta)$

Nous pourrions donc réécrire également la distribution ci-dessus:

π (z; μ, ϕ) = e x p [z (f (μ) α (ϕ)) + h (z) α (ϕ) - g (F (μ)) α (ϕ) + β (ϕ, z)]

$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$

La famille exponentielle à deux paramètres est:

F (z; θ_{1}, θ_{2}) = e X p [T_{1} (z) η_{1} (θ_{1}, θ_{2}) + T_{2} (z) η_{2} (θ_{1}, θ_{2}) - g (θ_{1}, θ_{2}) + h (z)]

$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$

qui semble similaire mais plus général (même si l'un des est constant). $\theta$

La différence est claire, et il n'est pas possible de mettre la distribution bêta sous forme de GLM.

Cependant, je manque de compréhension suffisante pour créer une réponse plus intuitive et bien informée (j'ai le sentiment qu'il peut y avoir des relations beaucoup plus profondes et plus élégantes avec une variété de principes fondamentaux). Le GLM généralise la distribution de l'erreur en utilisant un modèle de dispersion exponentielle à variable unique à la place d'un modèle des moindres carrés et généralise la relation linéaire dans la moyenne, en utilisant une fonction de lien.

L'intuition la meilleure et la plus simple semble être la dispersion - terme dans l'exponentielle, qui se multiplie avec tout et donc la dispersion ne varie pas avec . Alors que plusieurs familles exponentielles à deux paramètres et des méthodes de quasi-vraisemblance, le paramètre de dispersion est également fonction de . $\alpha(\phi)$ $\theta$ $\theta$

— Sextus Empiricus
source

Le deuxième paramètre

dans le df défini par N&W est la dispersion. Il étend la famille exponentielle naturelle à un paramètre

ϕ

$\phi$

π (z; θ)

$\pi(z;\theta)$

— Sextus Empiricus

@amoeba beta est une distribution de famille exponentielle bivariée, par exemple www2.stat.duke.edu/courses/Spring11/sta114/lec/expofam.pdf

— Tim

Je ne sais pas si ce n'est pas tout à fait possible, même avec une dispersion fixe. Du moins pas selon le GLM comme indiqué par N&W (ce que je sais, c'est que beaucoup de gens font des choses beaucoup plus difficiles pour résoudre la régression bêta). Je modifierai la réponse pour montrer ce qui se passe et où cela se passe mal, si nous essayons de suivre le même chemin des moindres carrés itératifs repondérés.

— Sextus Empiricus

J'ai quelque peu modifié la réponse. 1) Ma description initiale des familles et des modèles de dispersion était incorrecte. Le GLM inclut toutes les distributions des familles exponentielles à un paramètre car ce n'est pas seulement cette fonction de densité, mais aussi une fonction de lien. 2) En termes de meilleure vue intuitive, je n'ai pas pu aller loin et je ne m'attends pas à aller loin bientôt. Les modèles GLM se rapportent au modèle classique dans diverses représentations, ajoutant des poids à la formulation matricielle des procédures d'ajustement, dérivées des fonctions log-vraisemblance, y compris les termes avec la fonction de lien et la variance, .....

— Sextus Empiricus

J'ai pris la liberté de modifier un peu votre réponse, j'espère que vous êtes d'accord avec les modifications. En outre, cela ressemble à cette réponse. Stats.stackexchange.com/a/18812/28666 indique pourquoi N&W a utilisé cette famille de distribution particulière et non plus large.

— amibe dit Réintégrer Monica

Je ne pense pas que la distribution bêta fasse partie de la famille de dispersion exponentielle . Pour l'obtenir, vous devez avoir une densité

f (y; θ, τ) = \exp (\frac{y θ - c (θ)}{τ} + d (y, τ))

$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$

pour les fonctions spécifiées et . La moyenne est donnée par et la variance est donnée par . Le paramètre est appelé paramètre canonique. $c ()$ $d ()$ $c'(\theta)$ $\tau c''(\theta)$ $\theta$

La distribution bêta ne peut pas être écrit de cette façon - une façon de voir c'est en faisant remarquer qu'il n'y a pas terme la probabilité log - il a et au lieu $y$ $\log [y]$ $\log [1-y]$

f_{b e t a} (y; μ, ϕ) = \exp (ϕ μ \log [\frac{y}{1 - y}] + ϕ \log [1 - y] - \log [B (ϕ μ, ϕ (1 - μ)] - \log [\frac{y}{1 - y}])

$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$

Une autre façon de voir que la version bêta n'est pas une famille de dispersion exponentielle est qu'elle peut s'écrire oùetsont indépendants et suivent tous deux des distributions gamma avec le même paramètre d'échelle (et gamma est une famille exponentielle). $y=\frac {x}{x+z}$ $x$ $z$

— probabilitéislogique
source

Cette réponse n'est pas correcte telle qu'elle est écrite. Une façon de voir cela est que, selon la logique présentée, les distributions de Bernoulli et binomiales, par exemple, ne seraient pas non plus dans la classe des familles exponentielles.

— Cardinal

Désolé, vous avez raison de dire que l'exemple que j'ai donné était erroné. (Attention: l'arithmétique mentale et l'utilisation mobile de CrossValidated peuvent être dangereuses!) Cependant, mon argument est toujours valable. Cette réponse est incorrecte car elle opte pour un concept très étroitement "défini" de "famille exponentielle" - beaucoup plus étroit que toute source conventionnelle ou utilisation pratique.

— Cardinal

Hmm. Wikipedia répertorie la version bêta dans la liste des distributions de familles exponentielles.

— Amoeba dit Reinstate Monica

Vrai - je pensais à la famille exponentielle naturelle - qui est un cas particulier

— probabilités

θ

$\theta$