Quelles sont les propriétés utiles de la fonction de lien canonique?

8

Ici, j'étudie des modèles linéaires généralisés. Je sais que cette question est assez naïve et simple, mais je ne sais pas exactement pourquoi la fonction canonique de lien est si utile. Quelqu'un pourrait-il me donner une intuition sur ce problème?

— user1337
source

9

Je sais que cette question est assez naïve et simple, mais je ne sais pas exactement pourquoi la fonction canonique de lien est si utile

Est-ce vraiment si utile? Une fonction de lien étant canonique est principalement une propriété mathématique. Cela simplifie quelque peu les mathématiques, mais dans la modélisation, vous devez de toute façon utiliser la fonction de lien qui est scientifiquement significative.

Quelles sont donc les propriétés supplémentaires d'une fonction de lien canonique?

Elle conduit à l'existence de statistiques suffisantes. Cela pourrait impliquer une estimation un peu plus efficace, peut-être, mais les logiciels modernes (comme glmdans R) ne semblent pas traiter les liens canoniques différemment des autres liens.
Il simplifie certaines formules, ce qui facilite les développements théoriques. Beaucoup de belles propriétés mathématiques, voir Quelle est la différence entre une "fonction de lien" et une "fonction de lien canonique" pour GLM .

Les avantages semblent donc être principalement mathématiques et algorithmiques, pas vraiment statistiques.

Quelques détails supplémentaires: Soit des observations indépendantes du modèle de famille de dispersion exponentielle avec attente et prédicteur linéaire avec covariable vecteur . La fonction de lien est canonique si . Dans ce cas, la fonction de vraisemblance peut être écrite comme et par le théorème de factorisation nous pouvons conclure que $Y_1, \dotsc, Y_n$

f_{Y} (y; θ, ϕ) = \exp {(y θ - b (θ)) / a (ϕ) + c (y, ϕ)}

$f_Y(y;\theta,\phi)=\exp\left\{(y\theta-b(\theta))/a(\phi) + c(y,\phi)\right\}$

E Y_{i} = μ_{i}

$\DeclareMathOperator{\E}{\mathbb{E}} \E Y_i=\mu_i$

η_{i} = x_{i}^{T} β

$\eta_i = x_i^T \beta$

x_{i}

$x_i$

η_{i} = θ_{i}

$\eta_i=\theta_i$

L (β; ϕ) = \exp {\sum_{i} \frac{y_{i} x_{i}^{T} β - b (x_{i}^{T} β)}{a (ϕ)} + \sum_{i} c (y_{i}, ϕ)}

$\mathcal{L}(\beta; \phi)=\exp\left\{ \sum_i \frac{y_i x_i^T \beta -b(x_i^T \beta)}{a(\phi)}+\sum_i c(y_i,\phi)\right\}$

\sum_{i} x_{i} y_{i}

$\sum_i x_i y_i$ est suffisant pour .

β

$\beta$

Sans entrer dans les détails, les équations nécessaires pour IRLS seront simplifiées. De même, cette recherche google semble surtout trouver des liens canoniques mentionnés dans le cadre de simplifications, et non plus de raisons statistiques.

— kjetil b halvorsen
source

1

C'est mathématiquement utile, peut-être.

— AdamO

Oui, c'est ce que j'ai essayé de dire!

— kjetil b halvorsen

8

La fonction de lien canonique décrit la relation moyenne-variance dans un GLM. Par exemple, une variable aléatoire binomiale a une fonction de lien où est un prédicteur linéaire . Notez que qui est la relation moyenne-variance appropriée pour une variable aléatoire de Bernoulli. Il en va de même pour les variables aléatoires de Poisson, où la fonction de lien inverse est et où dans une variable aléatoire de Poisson, le la variance est la moyenne. $\mu = \exp( \nu) /(1-\exp(\nu))$ $\nu$ $\mathbf{X}^T\beta$ $\frac{\partial }{\partial \nu} \mu = \mu(1-\mu)$ $\mu = \exp(\nu)$ $\frac{\partial }{\partial \nu} \mu = \mu$

Le modèle linéaire généralisé résout une équation d'estimation de la forme:

S (β) = D V^{- 1} (Y - g (X^{T} β))

$S(\beta) = D V^{-1} (Y - g(\mathbf{X}^T\beta))$

où et . Lorsque le lien est canonique, par conséquent, et la fonction d'estimation est: $D = \frac{\partial}{\partial \beta} g(\mathbf{X}^T\beta)$ $V=\text{var}(Y)$ $D = V$

S (β) = X^{T} (Y - g (X^{T} β))

$S(\beta) = \mathbf{X}^{T}(Y - g(\mathbf{X}^T\beta))$

Comme cela a été noté dans l'article de Wedderburn de 1976 sur la quasi-probabilité, le lien canonique a l'avantage que les informations attendues et observées sont les mêmes et que les moindres carrés itérativement repondérés sont équivalents à Newton-Raphson, ce qui simplifie les procédures d'estimation et l'estimation de la variance.

— AdamO
source