Quand les régressions de Poisson et binomiales négatives correspondent-elles aux mêmes coefficients?

J'ai remarqué que dans R, les régressions de Poisson et binomiales négatives (NB) semblent toujours correspondre aux mêmes coefficients pour les prédicteurs catégoriels, mais non continus.

Par exemple, voici une régression avec un prédicteur catégorique:

data(warpbreaks)
library(MASS)

rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson")
rs2 = glm.nb(breaks ~ tension, data=warpbreaks)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Voici un exemple avec un prédicteur continu, où les lois de Poisson et NB correspondent à des coefficients différents:

data(cars)
rs1 = glm(dist ~ speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

(Bien sûr, ce ne sont pas des données de comptage, et les modèles ne sont pas significatifs ...)

Ensuite, je recodifie le prédicteur en un facteur, et les deux modèles correspondent à nouveau aux mêmes coefficients:

library(Hmisc)
speedCat = cut2(cars$speed, g=5) 
#you can change g to get a different number of bins

rs1 = glm(cars$dist ~ speedCat, family="poisson")
rs2 = glm.nb(cars$dist ~ speedCat)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Cependant, la régression binomiale négative de Joseph Hilbe donne un exemple (6.3, pages 118-119) dans lequel un prédicteur catégorique, le sexe, est ajusté avec des coefficients légèrement différents selon les lois de Poisson ( $b=0.883$ ) et NB ( $b=0.881$ ). Il déclare: «Les ratios de taux d'incidence entre les modèles de Poisson et NB sont assez similaires. Ceci est pas surprenant étant donné la proximité de $\alpha$ [correspondant à $1/\theta$ dans R] à zéro « .

Je comprends cela, mais dans les exemples ci-dessus, summary(rs2)nous dit que est estimé à 9.16 et 7.93 respectivement.$\theta$

Alors, pourquoi les coefficients sont-ils exactement les mêmes? Et pourquoi uniquement pour les prédicteurs catégoriques?

---

Modifier # 1

Voici un exemple avec deux prédicteurs non orthogonaux. En effet, les coefficients ne sont plus les mêmes:

data(cars)

#make random categorical predictor
set.seed(1); randomCats1 = sample( c("A","B","C"), length(cars$dist), replace=T)
set.seed(2); randomCats2 = sample( c("C","D","E"), length(cars$dist), replace=T)

rs1 = glm(dist ~ randomCats1 + randomCats2, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + randomCats2, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

De plus, l'ajout d'un autre prédicteur force les modèles à s'adapter à différents coefficients, même lorsque le nouveau prédicteur est continu. Donc, cela a quelque chose à voir avec l'orthogonalité des variables factices que j'ai créées dans mon exemple initial?

rs1 = glm(dist ~ randomCats1 + speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Vous avez découvert une propriété intime, mais générique, de GLM qui s'adapte parfaitement . Le résultat disparaît dès que l'on considère le cas le plus simple: ajuster un seul paramètre à une seule observation!

Une réponse de la phrase : Si tout ce que nous préoccupons convient des moyens séparés pour des sous - ensembles disjoints de notre échantillon, puis GLM produira toujours μ j = ˉ y pour chaque sousensemble j ,sortela structure d'erreur réelle et paramétrisation de la densitéfois devenu sans objet à l'estimation (point)!$\hat\mu_j = \bar y_j$$j$

Un peu plus : ajuster les facteurs catégoriels orthogonaux au maximum de vraisemblance équivaut à ajuster des moyens distincts à des sous-ensembles disjoints de notre échantillon, ce qui explique pourquoi les GLM de Poisson et binomiaux négatifs génèrent les mêmes estimations de paramètres. En fait, il en va de même si nous utilisons une régression de Poisson, Negbin, Gaussienne, Gaussienne Inverse ou Gamma (voir ci-dessous). Dans le cas de Poisson et negbin, la fonction de liaison par défaut est la liaison de , mais il s’agit d’un faux fil rouge. Bien que cela produise les mêmes estimations de paramètres bruts , nous verrons ci-dessous que cette propriété n'a vraiment rien à voir avec la fonction de liaison.$\log$

Lorsque nous nous intéressons à une paramétrisation avec plus de structure, ou qui dépend de prédicteurs continus, alors la structure d'erreur supposée devient pertinente en raison de la relation moyenne-variance de la distribution en relation avec les paramètres et de la fonction non linéaire utilisée pour modéliser le conditionnel veux dire.

GLM et familles de dispersion exponentielle: cours intensif

Une famille de dispersion exponentielle sous forme naturelle est telle que la densité de log est de la forme

$$\log f(y;\,\theta,\nu) = \frac{\theta y - b(\theta)}{\nu} + a(y,\nu) \>.$$

Ici est le paramètre naturel et ν le paramètre de dispersion$\theta$$\nu$ . Si était connu, il ne s'agirait que d'une famille exponentielle standard à un paramètre. Tous les GLM considérés ci-dessous supposent un modèle d'erreur de cette famille.$\nu$

Prenons un exemple d’une seule observation de cette famille. Si nous nous situons par maximum de vraisemblance, on obtient que y = b ' ( θ ) , quelle que soit la valeur de ν . Cela va facilement au cas d'un échantillon IID depuis les vraisemblances log ajouter, ce qui donne ˉ y = b ' ( θ ) .$\theta$$y = b'(\hat\theta)$$\nu$$\bar y = b'(\hat\theta)$

Mais, nous savons aussi, en raison de la belle régularité de la densité du journal en fonction de , que $\theta$ Donc, en fait, b ′ ( θ ) = E

$$\frac{\partial}{\partial \theta} \mathbb E \log f(Y;\theta,\nu) = \mathbb E \frac{\partial}{\partial \theta} \log f(Y;\theta,\nu) = 0 \>.$$ .$b'(\theta) = \mathbb E Y = \mu$

Étant donné que les estimations du maximum de vraisemblance sont invariantes par transformation, cela signifie que $\bar y = \hat\mu$ pour cette famille de densités.

Maintenant, dans un GLM, nous modélisons tant que μ i = g - 1$\mu_i$oùgest la fonction de liaison. Mais si x i est un vecteur de tous les zéros à l'exception d'un seul 1 en positionj, alors µ i =g( β j ). La vraisemblance du GLM est alors factorisée en fonction de la$\mu_i = g^{-1}(\mathbf x_i^T \beta)$$g$$\mathbf x_i$$j$$\mu_i = g(\beta_j)$ et on procède comme ci-dessus. C'est précisément le cas des facteurs orthogonaux.$\beta_j$

En quoi les prédicteurs continus sont-ils si différents?

Lorsque les prédicteurs sont continus ou catégoriques, mais ne peuvent pas être réduits à une forme orthogonale, la probabilité ne tient plus compte de termes individuels avec une moyenne distincte dépendant d'un paramètre distinct. A ce stade, la structure d'erreur et la fonction de lien n'entrent en jeu.

Si une manivelle par le biais de l'algèbre (fastidieux), les équations de vraisemblance deviennent Pour tout j = 1 , ... , p où λ i = x T i β . Ici, les β et

$$\sum_{i=1}^n \frac{(y_i - \mu_i)x_{ij}}{\sigma_i^2}\frac{\partial \mu_i}{\partial \lambda_i} = 0\>,$$ $j = 1,\ldots,p$$\lambda_i = \mathbf x_i^T \beta$$\beta$$\nu$ paramètres entrent implicitement via la relation de liaison et la variance σ 2 $\mu_i = g(\lambda_i) = g(\mathbf x_i^T \beta)$$\sigma_i^2$ .

De cette manière, la fonction de lien et le modèle d'erreur supposé deviennent pertinents pour l'estimation.

Exemple: le modèle d'erreur (presque) n'a pas d'importance

Dans l'exemple ci-dessous, nous générons des données aléatoires binomiales négatives en fonction de trois facteurs catégoriels. Chaque observation provient d’une seule catégorie et du même paramètre de dispersion ( $k = 6$ utilise ).

Nous nous sommes ensuite adaptés à ces données en utilisant cinq GLM différents, chacun avec un lien de : ( a ) binôme négatif, ( b ) Poisson, ( c ) gaussien, ( d ) gaussien inverse et ($\log$ e ) GLM. Ce sont tous des exemples de familles de dispersion exponentielle.

Dans le tableau, nous pouvons constater que les estimations de paramètres sont identiques , même si certains de ces GLM concernent des données discrètes et d’autres des données continues, et d’autres des données non négatives, d’autres non.

      negbin  poisson gaussian invgauss    gamma
XX1 4.234107 4.234107 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033 4.841033 4.841033

La mise en garde dans l'en-tête vient du fait que la procédure d'ajustement échouera si les observations ne relèvent pas du domaine de la densité particulière. Par exemple, si nous avions $0$ comptes générés aléatoirement dans les données ci-dessus, le GLM Gamma ne pourra pas converger car les GLM Gamma nécessitent des données strictement positives.

Exemple: la fonction de lien (presque) n'a pas d'importance

En utilisant les mêmes données, nous répétons la procédure en ajustant les données avec un GLM de Poisson avec trois fonctions de liaison différentes: ( a )$\log$$\log(\hat \beta)$$\log(\hat \beta^2)$$\hat\beta$

> coefs.po
         log       id     sqrt
XX1 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033

La mise en garde dans l'en-tête fait simplement référence au fait que les estimations brutes varieront avec la fonction de lien, mais pas les estimations implicites en paramètres moyens.

Code R

# Warning! This code is a bit simplified for compactness.
library(MASS)
n <- 5
m <- 3
set.seed(17)
b <- exp(5+rnorm(m))
k <- 6

# Random negbin data; orthogonal factors
y <- rnbinom(m*n, size=k, mu=rep(b,each=n))
X <- factor(paste("X",rep(1:m,each=n),sep=""))

# Fit a bunch of GLMs with a log link
con <- glm.control(maxit=100)
mnb <- glm(y~X+0, family=negative.binomial(theta=2))
mpo <- glm(y~X+0, family="poisson")
mga <- glm(y~X+0, family=gaussian(link=log), start=rep(1,m), control=con)
miv <- glm(y~X+0, family=inverse.gaussian(link=log), start=rep(2,m), control=con)
mgm <- glm(y~X+0, family=Gamma(link=log), start=rep(1,m), control=con)    
coefs <- cbind(negbin=mnb$coef, poisson=mpo$coef, gaussian=mga$coef
                   invgauss=miv$coef, gamma=mgm$coef)

# Fit a bunch of Poisson GLMs with different links.
mpo.log  <- glm(y~X+0, family=poisson(link="log"))
mpo.id   <- glm(y~X+0, family=poisson(link="identity"))
mpo.sqrt <- glm(y~X+0, family=poisson(link="sqrt"))   
coefs.po <- cbind(log=mpo$coef, id=log(mpo.id$coef), sqrt=log(mpo.sqrt$coef^2))

Pour voir ce qui se passe ici, il est utile de commencer par effectuer la régression sans intercept, car une interception dans une régression catégorique avec un seul prédicteur n'a pas de sens:

> rs1 = glm(breaks ~ tension-1, data=warpbreaks, family="poisson")
> rs2 = glm.nb(breaks ~ tension-1, data=warpbreaks)

Étant donné que les régressions de Poisson et binomiales négatives spécifient le journal du paramètre moyen, alors pour une régression catégorielle, une exponentiation des coefficients vous donnera le paramètre moyen réel pour chaque catégorie:

>  exp(cbind("Poisson"=coef(rs1), "NB"=coef(rs2)))
          Poisson       NB
tensionL 36.38889 36.38889
tensionM 26.38889 26.38889
tensionH 21.66667 21.66667

Ces paramètres correspondent aux moyennes réelles sur les différentes valeurs de catégorie:

> with(warpbreaks,tapply(breaks,tension,mean))
       L        M        H 
36.38889 26.38889 21.66667 

$\lambda$

$\lambda$ qui maximise la vraisemblance pour les observations de chaque catégorie. L'estimateur de vraisemblance maximum pour la distribution de Poisson est simplement la moyenne de l'échantillon, raison pour laquelle les coefficients de régression sont précisément les moyennes (journaux des) échantillons de chaque catégorie.

$\lambda$$\theta$$\theta$$\lambda$

$$\begin{align} L(X,\lambda,\theta) &= \prod \left(\frac{\theta}{\lambda+\theta}\right)^\theta \frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\left(\frac{\lambda}{\lambda+\theta}\right)^{x_i}\\ \log L(X,\lambda,\theta) &= \sum\theta\left(\text{log}\theta-\text{log}(\lambda+\theta)\right) +x_i\left(\text{log}\lambda-\text{log}(\lambda+\theta)\right) +\log\left(\frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\right)\\ \frac{d}{d\lambda}\log L(X,\lambda,\theta) &= \sum \frac{x_i}{\lambda}-\frac{\theta+x_i}{\lambda+\theta} =n\left(\frac{\bar{x}}{\lambda}-\frac{\bar{x}+\theta}{\lambda+\theta}\right), \end{align}$$ de sorte que le maximum est atteint lorsque $\lambda=\bar{x}$.

La raison pour laquelle vous n'obtenez pas les mêmes coefficients pour les données continues est parce que, dans une régression continue, $\text{log}(\lambda)$ne sera plus une fonction constante par morceaux des variables prédictives, mais linéaire. Maximiser la fonction de vraisemblance dans ce cas ne se réduira pas à l'ajustement indépendant d'une valeur$\lambda$ pour des sous-ensembles disjoints des données, mais sera plutôt un problème non trivial qui est résolu numériquement, et est susceptible de produire des résultats différents pour différentes fonctions de vraisemblance.

De même, si vous avez plusieurs prédicteurs catégoriels, malgré le fait que le modèle ajusté spécifiera finalement $\lambda$ fonction constante par morceaux, en général, il n’y aura pas assez de degrés de liberté pour permettre $\lambda$à déterminer indépendamment pour chaque segment constant. Par exemple, supposons que vous ayez$2$ prédicteurs avec $5$catégories chacune. Dans ce cas, votre modèle a$10$ degrés de liberté, alors qu'il y a $5*5=25$ différentes combinaisons uniques de catégories, chacune ayant sa propre valeur ajustée de $\lambda$. Donc, en supposant que les intersections de ces catégories ne soient pas vides (ou du moins que$11$ d’entre eux sont non vides), le problème de la maximisation de la probabilité devient non trivial et produira généralement des résultats différents pour la distribution de Poisson par rapport au binôme négatif ou à n’importe quelle autre distribution.