Quelle est la relation entre la distribution bêta et le modèle de régression logistique?

Ma question est: quelle est la relation mathématique entre la distribution bêta et les coefficients du modèle de régression logistique ?

Pour illustrer: la fonction logistique (sigmoïde) est donnée par

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

et il est utilisé pour modéliser les probabilités dans le modèle de régression logistique. Soit un résultat dichotomique et une matrice de conception. Le modèle de régression logistique est donné par $A$ $(0,1)$ $X$

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

Remarque a une première colonne de constante (interception) et est un vecteur colonne de coefficients de régression. Par exemple, lorsque nous avons un régresseur (standard-normal) et choisissons (interception) et , nous pouvons simuler la «distribution des probabilités» qui en résulte. $X$ $1$ $\beta$ $x$ $\beta_0=1$ $\beta_1=1$

Ce graphique rappelle la distribution bêta (tout comme les graphiques pour d'autres choix de ) dont la densité est donnée par $\beta$

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

En utilisant le maximum de vraisemblance ou des méthodes de moments, il est possible d'estimer et partir de la distribution de . Ainsi, ma question se résume à: quelle est la relation entre les choix de et et ? Ceci, pour commencer, répond au cas bivarié donné ci-dessus. $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— tomka
source

Je me demandais juste il y a 3 heures dans mon cours de statistiques bayésiennes

— Alchemist

Réponses:

La version bêta est une distribution de valeurs dans la plage qui est très flexible dans sa forme, donc pour presque toute distribution empirique unimodale de valeurs dans vous pouvez facilement trouver des paramètres d'une telle distribution bêta qui "ressemble" à la forme de la distribution. $(0,1)$ $(0,1)$

Notez que la régression logistique vous fournit des probabilités conditionnelles , tandis que sur votre graphique, vous nous présentez la distribution marginale des probabilités prédites. Ce sont deux choses différentes dont il faut parler. $\Pr(Y=1\mid X)$

Il n'y a pas de relation directe entre les paramètres de régression logistique et les paramètres de distribution bêta lorsque l'on regarde la distribution des prédictions du modèle de régression logistique. Ci-dessous, vous pouvez voir des données simulées à l'aide de distributions normales, exponentielles et uniformes transformées à l'aide de la fonction logistique. En plus d'utiliser exactement les mêmes paramètres de régression logistique (c'est-à-dire ), les distributions des probabilités prédites sont très différentes. La distribution des probabilités prédites dépend donc non seulement des paramètres de régression logistique, mais aussi des distributions des et il n'y a pas de relation simple entre eux. $\beta_0 = 0, \beta_1 = 1$ $X$

Étant donné que la bêta est une distribution de valeurs dans , elle ne peut pas être utilisée pour modéliser des données binaires comme le fait la régression logistique. Il peut être utilisé pour modéliser les probabilités , de cette manière, nous utilisons la régression bêta (voir également ici et ici ). Donc, si vous êtes intéressé par le comportement des probabilités (comprises comme variables aléatoires), vous pouvez utiliser la régression bêta à cette fin. $(0,1)$

— Tim
source

Donc, si Beta peut approximer une telle distribution, ne devrait-il pas y avoir de relation entre ses paramètres et ?

β

$\beta$

— tomka

@tomka mais la distribution dépend de la distribution de vos données et des paramètres, donc même si une telle relation existe, elle est très compliquée. Il n'y a évidemment pas de relation directe entre les paramètres de régression et les paramètres de distribution bêta. Essayez de simuler des prédictions de régression logistique sous les mêmes paramètres en utilisant des distributions différentes pour , la distribution marginale différera dans chaque cas.

X

$X$

— Tim

La distribution bêta n'est pas si flexible - elle ne peut pas approximer les distributions multimodales.

— Marcus PS

@MarcusPS Je l'ai expliqué plus clairement.

— Tim

@MarcusPS sauf le cas particulier des distributions multimodales avec des modes à 0 et 1 ...

— Ben Bolker

La régression logistique est un cas particulier d'un modèle linéaire généralisé (GLM). Dans ce cas particulier des données binaires, la fonction logistique est la fonction de lien canonique qui transforme le problème de régression non linéaire en question en un problème linéaire. Les GLM sont quelque peu spéciaux, en ce sens qu'ils ne s'appliquent qu'aux distributions de la famille exponentielle (comme la distribution binomiale).

Dans l'estimation bayésienne, la distribution bêta est le conjugué avant la distribution binomiale, ce qui signifie qu'une mise à jour bayésienne vers un avant bêta, avec des observations binomiales, se traduira par une postérieure bêta. Donc, si vous avez des comptages pour les observations de données binaires, vous pouvez obtenir une estimation bayésienne analytique des paramètres de la distribution binomiale en utilisant un a priori bêta.

Donc, dans le sens de ce qui a été dit par d'autres, je ne pense pas qu'il y ait une relation directe, mais la distribution bêta et la régression logistique ont des relations étroites avec l'estimation des paramètres de quelque chose qui suit une distribution binomiale.

— Marcus PS
source

J'ai déjà attribué une mention +1 à la perspective bayésienne, mais notez qu'en cas de modèle de régression, nous n'utilisons pas de modèle bêta-binomial et la distribution bêta en général n'est pas utilisée comme priorité pour les paramètres - du moins dans le cas d' une logistique bayésienne typique régression . Donc, cela ne se traduit pas directement en modèle bêta-binomial.

— Tim

Peut-être qu'il n'y a pas de connexion directe? La distribution de dépend en grande partie de votre simulation de . Si vous avez simulé avec , aura une distribution log-normale avec étant donné . La distribution de $P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ peut alors être trouvée explicitement: avec cdf $P(A=1|X)$ cdf inverse

F (X) = 1 - Φ [\ln (\frac{1}{X} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

et pdf

Q (X) = \frac{1}{1 + \exp (Φ^{- 1} (1 - X) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

qui ne ressemblent pas à ceux de la distribution Beta.

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

Vous pouvez vérifier les résultats ci-dessus dans R :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— Francis
source

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

1 / x - 1 > 0

$1/x-1>0$

x \in (0, 1)

$x\in(0,1)$

f

$f$

X

$X$

@whuber: on dirait que je me suis trompé, j'ai supprimé cette partie.

— Francis