Modèle logit bayésien - explication intuitive?

Je dois avouer que je n'avais jamais entendu parler de ce terme dans aucune de mes classes, de premier cycle ou de cycle supérieur.

Que signifie qu'une régression logistique soit bayésienne? Je cherche une explication avec une transition de la logistique régulière à la logistique bayésienne similaire à la suivante:

Voici l'équation du modèle de régression linéaire: . $E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

C'est l'équation du modèle de régression logistique: . Cela se fait lorsque y est catégorique. $\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

Ce que nous avons fait, c'est changer en . $E(y)$ $\ln(\frac{E(y)}{1-E(y)})$

Alors, que fait le modèle de régression logistique dans la régression logistique bayésienne? Je suppose que ce n'est pas quelque chose à voir avec l'équation.

Cet aperçu du livre semble définir, mais je ne comprends pas vraiment. Qu'est-ce que tout cela avant, vraisemblablement? Qu'est-ce que ? Quelqu'un peut-il expliquer cette partie du livre ou du modèle logit bayésien d'une autre manière? $\alpha$

Remarque: Cela a déjà été demandé mais n'a pas été très bien répondu je pense.

— BCLC
source

Je ne veux pas mettre cela dans une réponse parce que je pense que @Tim a la plupart du temps couvert. La seule chose qui manque à cette excellente réponse est que, dans la régression logistique bayésienne et les modèles linéaires généralisés bayésiens (GLM) plus généralement, les distributions antérieures ne sont pas seulement placées sur les coefficients, mais sur les variances et la covariance de ces coefficients. Ceci est extrêmement important à mentionner, car l'un des principaux avantages d'une approche bayésienne des GLM est la plus grande facilité de spécification et, dans de nombreux cas, l'ajustement de modèles complexes pour la covariance des coefficients.

— Brash Equilibrium

@BrashEquilibrium: vous mentionnez une éventuelle extension hiérarchique de la modélisation bayésienne standard pour un modèle logit. Dans notre livre , nous utilisons par exemple un g-avant sur la « s, avant que la matrice de covariance fixe est dérivé du covariables .

β

$\beta$

X

$X$

— Xi'an

Assez juste sur le g avant.

— Brash Equilibrium

Cela dit, il y a encore un prior sur les covariances !!!!!! Si vous n'en discutez pas, vous ne décrivez pas comment fonctionne complètement la régression logistique.

— Brash Equilibrium

Réponses:

La régression logistique peut être décrite comme une combinaison linéaire

η = β_{0} + β_{1} X_{1} + . . . + β_{k} X_{k}

$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$

qui est passé par la fonction de lien : $g$

g (E (Y)) = η

$g(E(Y)) = \eta$

où la fonction de liaison est une fonction logit

E (Y | X, β) = p = {logit}^{- 1} (η)

$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$

où ne prend que des valeurs dans et les fonctions logit inverses transforment la combinaison linéaire dans cette plage. C'est là que s'arrête la régression logistique classique. $Y$ $\{0,1\}$ $\eta$

Cependant, si vous vous souvenez que pour les variables qui ne prennent que des valeurs dans , alors peut être considéré comme . Dans ce cas, la sortie de la fonction logit pourrait être considérée comme une probabilité conditionnelle de "succès", c'est-à-dire . La distribution de Bernoulli est une distribution qui décrit la probabilité d'observer le résultat binaire, avec un paramètre , nous pouvons donc décrire comme $E(Y) = P(Y = 1)$ $\{0,1\}$ $E(Y | X,\beta)$ $P(Y = 1 | X,\beta)$ $P(Y=1|X,\beta)$ $p$ $Y$

y_{i} \sim Bernoulli (p)

$y_i \sim \text{Bernoulli}(p)$

Donc, avec la régression logistique, nous recherchons certains paramètres qui se combinent avec des variables indépendantes forment une combinaison linéaire . Dans la régression classique (nous supposons que la fonction de lien est une fonction d'identité), cependant pour modéliser qui prend des valeurs dans nous devons transformer pour l'adapter dans la plage . $\beta$ $X$ $\eta$ $E(Y|X,\beta) = \eta$ $Y$ $\{0,1\}$ $\eta$ $[0,1]$

Maintenant, pour estimer la régression logistique de manière bayésienne, vous prenez quelques priors pour les paramètres comme avec la régression linéaire (voir Kruschke et al, 2012 ), puis utilisez la fonction logit pour transformer la combinaison linéaire , afin d'utiliser sa sortie comme un paramètre de la distribution de Bernoulli qui décrit votre variableDonc, oui, vous utilisez en fait l'équation et la fonction de lien logit de la même manière que dans le cas fréquentitionniste, et le reste fonctionne (par exemple en choisissant des a priori) comme avec l'estimation de la régression linéaire de la manière bayésienne. $\beta_i$ $\eta$ $p$ $Y$

L'approche simple pour choisir les a priori est de choisir des distributions normales (mais vous pouvez également utiliser d'autres distributions, par exemple la distribution - ou Laplace pour un modèle plus robuste) pour les avec des paramètres et qui sont prédéfinis ou pris des prieurs hiérarchiques . Maintenant, ayant la définition du modèle, vous pouvez utiliser un logiciel tel que JAGS pour effectuer une simulation Markov Chain Monte Carlo pour vous permettre d'estimer le modèle. Ci-dessous, je poste le code JAGS pour un modèle logistique simple ( cliquez ici pour plus d'exemples). $t$ $\beta_i$ $\mu_i$ $\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

Comme vous pouvez le voir, le code se traduit directement en définition de modèle. Ce que fait le logiciel, c'est qu'il tire certaines valeurs des valeurs normales pour apuis b, il utilise ces valeurs pour estimer pet enfin, utilise la fonction de vraisemblance pour évaluer la probabilité de vos données compte tenu de ces paramètres (c'est lorsque vous utilisez le théorème de Bayes, voir ici pour description plus détaillée).

Le modèle de régression logistique de base peut être étendu pour modéliser la dépendance entre les prédicteurs à l'aide d'un modèle hiérarchique (y compris les hyperpriors ). Dans ce cas, vous pouvez tirer les de la distribution normale multivariée qui nous permet d'inclure des informations sur la covariance entre des variables indépendantes $\beta_i$ $\boldsymbol{\Sigma}$

(\begin{matrix} β_{0} \\ β_{1} \\ ⋮ \\ β_{k} \end{matrix}) \sim M V N ([\begin{matrix} μ_{0} \\ μ_{1} \\ ⋮ \\ μ_{k} \end{matrix}], [\begin{matrix} σ_{0}^{2} & σ_{0, 1} & \dots & σ_{0, k} \\ σ_{1, 0} & σ_{1}^{2} & \dots & σ_{1, k} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ σ_{k, 0} & σ_{k, 1} & \dots & σ_{k}^{2} \end{matrix}])

$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$

... mais cela entre dans les détails, alors arrêtons-nous ici.

La partie "bayésienne" ici consiste à choisir des a priori, en utilisant le théorème de Bayes et en définissant le modèle en termes probabilistes. Voir ici pour la définition du "modèle bayésien" et ici pour une intuition générale sur l'approche bayésienne . Ce que vous pouvez également remarquer, c'est que la définition des modèles est assez simple et flexible avec cette approche.

Kruschke, JK, Aguinis, H., et Joo, H. (2012). Le moment est venu: méthodes bayésiennes pour l'analyse des données en sciences organisationnelles. Méthodes de recherche organisationnelle, 15 (4), 722-752.

Gelman, A., Jakulin, A., Pittau, GM et Su, Y.-S. (2008). Une distribution a priori par défaut faiblement informative pour les modèles logistiques et autres modèles de régression. The Annals of Applied Statistics, 2 (4), 1360–1383.

— Tim
source

Vous avez besoin de preuves des variances, pas seulement des coefficients.

— Brash Equilibrium

@BCLC non, pour la régression logistique, logit est utilisé comme fonction de lien , tandis que est une combinaison linéaire , par exemple pour la régression linéaire est la fonction d'identité, donc , ceci est juste une spécification standard de GLM .

g

$g$

η

$\eta$

η = β_{0} + β_{1} X_{1}

$\eta = \beta_0 + \beta_1 X_1$

g

$g$

E (Y) = η

$E(Y) = \eta$

— Tim

@BCLC vérifiez les liens dans ma réponse, ils fournissent une introduction aux statistiques bayésiennes en général. C'est un sujet beaucoup plus large que celui mentionné dans votre question initiale mais vous pouvez trouver une belle introduction dans les références que j'ai fournies dans ma réponse.

— Tim

@Tim J'ai fait une faute de frappe là-bas. Les preuves sont censées lire les prieurs. Fondamentalement, les coefficients ne sont pas les seuls paramètres inconnus. La distribution multinomiale a également une matrice de covariance de variance et généralement nous ne supposons pas qu'elle soit connue.

— Brash Equilibrium

"La partie" bayésienne "ici consiste à choisir les prieurs, à utiliser le théorème de Bayes et à définir le modèle en termes probabilistes." Une bonne référence ici est Gelman et al. UNE DISTRIBUTION PRIORITAIRE FAIBLEMENT INFORMATIVE POUR LES MODÈLES LOGISTIQUES ET AUTRES MODÈLES DE RÉGRESSION stat.columbia.edu/~gelman/research/published/priors11.pdf

— Dalton Hance

Qu'est-ce que tout cela avant, vraisemblablement?

C'est ce qui le rend bayésien. Le modèle génératif pour les données est le même; la différence est qu'une analyse bayésienne choisit une distribution antérieure pour les paramètres d'intérêt, et calcule ou se rapproche d'une distribution postérieure , sur laquelle toute inférence est basée. La règle de Bayes relie les deux: le postérieur est proportionnel aux temps de vraisemblance antérieurs.

Intuitivement, cet a priori permet à un analyste d'exprimer mathématiquement une expertise en la matière ou des résultats préexistants. Par exemple, le texte auquel vous faites référence indique que le précédent pour est une normale multivariée. Des études antérieures suggèrent peut-être une certaine gamme de paramètres qui peuvent être exprimés avec certains paramètres normaux. (La flexibilité s'accompagne de la responsabilité: il faut être en mesure de justifier ses antécédents devant un public sceptique.) Dans des modèles plus élaborés, on peut utiliser l'expertise du domaine pour régler certains paramètres latents. Par exemple, voir l'exemple du foie référencé dans cette réponse . $\bf\beta$

Certains modèles fréquentistes peuvent être liés à un homologue bayésien avec un a priori spécifique, bien que je ne sache pas qui correspond dans ce cas.

— Sean Easter
source

SeanEaster, «avant» est le mot utilisé pour la distribution supposée? Par exemple, nous supposons les X ou les (si vous voulez dire comme dans , voulez-vous plutôt dire , , ..., ? Je ne veux pas pense que les ont des distributions ...?) sont normales mais nous essayons de les adapter à une autre distribution? Qu'entendez-vous exactement par «approximatif»? J'ai le sentiment que ce n'est pas la même chose que les «ajustements»

β

$\beta$

β

$\beta$

β_{1}, β_{2}, . . ., β_{n}

$\beta_1, \beta_2, ..., \beta_n$

X_{1}

$X_1$

X_{2}

$X_2$

X_{n}

$X_n$

β

$\beta$

— BCLC

@BCLC Pour y répondre, je vais commencer par le processus nu de l'inférence bayésienne et définir les termes au fur et à mesure: les bayésiens traitent tous les paramètres d'intérêt comme des variables aléatoires et mettent à jour leurs croyances sur ces paramètres à la lumière des données. La distribution préalable exprime sa croyance sur les paramètres avant d'analyser les données; la * distribution postérieure * - par la règle de Bayes, le produit normalisé de l'a priori et de la vraisemblance - résume une croyance incertaine sur les paramètres à la lumière de l'a priori et des données. Le calcul de la partie postérieure est le lieu de l'ajustement.

— Sean Easter

@BCLC Ainsi pourquoi les paramètres ont une distribution. Dans d'autres modèles bayésiens, généralement simples, les distributions postérieures peuvent avoir une expression de forme fermée. (Dans une variable aléatoire de Bernoulli avec un bêta a priori sur , le postérieur de est une distribution bêta, par exemple.) Mais lorsque les postérieurs ne peuvent pas être exprimés analytiquement, nous les rapprochons , généralement en utilisant des méthodes MCMC.

β

$\beta$

p

$p$

p

$p$

— Sean Easter

D'accord, je pense que je vous comprends mieux après avoir lu un essai pour résoudre un problème dans la doctrine des chances . Merci SeanEster

— BCLC

Oui. Dans de nombreux cas, ce serait impossible à calculer analytiquement.

P (B)

$P(B)$

— Sean Easter