Régression de Bayes: comment cela se fait-il par rapport à la régression standard?


57

J'ai quelques questions sur la régression bayésienne:

  1. une régression standard telle que . Si je veux changer cela en une régression bayésienne, ai-je besoin de distributions antérieures à la fois pour et (ou cela ne fonctionne-t-il pas de cette façon)?y=β0+β1x+εβ0β1

  2. Dans la régression standard, on essaierait de minimiser les résidus pour obtenir des valeurs uniques pour et . Comment cela se fait-il dans la régression de Bayes?β0β1


Je me bats vraiment beaucoup ici:

posterior=prior×likelihood

La probabilité provient de l'ensemble de données actuel (il s'agit donc de mon paramètre de régression, mais pas d'une valeur unique mais d'une distribution de probabilité, n'est-ce pas?). Prior provient d'une recherche précédente (disons). Alors j'ai eu cette équation:

y=β1x+ε

avec étant ma probabilité ou postérieure (ou est-ce tout simplement faux)? β1

Je ne comprends tout simplement pas comment la régression standard se transforme en une régression de Bayes.

Réponses:


93

Modèle de régression linéaire simple

yi=α+βxi+ε

peut être écrit en termes de modèle probabiliste derrière elle

μi=α+βxiyiN(μi,σ)

c'est-à-dire que la variable dépendante suit la distribution normale paramétrée par la moyenne , c'est-à-dire une fonction linéaire de paramétrisée par et par l'écart type . Si vous estimez ce modèle à l'aide des moindres carrés ordinaires , vous n'avez pas à vous préoccuper de la formulation probabiliste, car vous recherchez des valeurs optimales pour paramètres en minimisant les erreurs au carré des valeurs ajustées aux valeurs prédites. D'autre part, vous pouvez estimer ce modèle à l'aide de l' estimation du maximum de vraisemblance , où vous recherchez des valeurs optimales de paramètres en maximisant la fonction de vraisemblance.YμiXα,βσα,β

argmaxα,β,σi=1nN(yi;α+βxi,σ)

où est une fonction de densité de la distribution normale évaluée aux points , paramétrée par le moyen et l'écart type .Nyiα+βxiσ

Dans l'approche bayésienne au lieu de maximiser la fonction de vraisemblance uniquement, nous supposerions des distributions antérieures pour les paramètres et utiliserons le théorème de Bayes

posteriorlikelihood×prior

La fonction de vraisemblance est la même que ci-dessus, mais ce qui change est que vous supposez certaines distributions antérieures pour les paramètres estimés et que vous les incluez dans l'équation.α,β,σ

f(α,β,σY,X)posteriori=1nN(yiα+βxi,σ)likelihoodfα(α)fβ(β)fσ(σ)priors

"Quelles distributions?" est une question différente, car il y a un nombre illimité de choix. Pour paramètres , vous pouvez par exemple supposer des distributions normales paramétrées par certains hyperparamètres , ou -distribution si vous voulez assumer des queues plus lourdes, ou une distribution uniforme si vous ne voulez pas faire beaucoup d’hypothèses, mais vous voulez supposer que les paramètres peuvent être a priori "tout ce qui est compris dans la plage donnée", etc. Pour vous devez supposer une distribution antérieure dont la borne est supérieure à zéro, car l'écart type doit être positif. Cela peut conduire à la formulation du modèle, illustrée ci-dessous par John K. Kruschke.α,βtσ

Formulation de modèle de régression linéaire bayésienne

(source: http://www.indiana.edu/~kruschke/BMLR/ )

Alors que vous cherchiez au maximum de probabilité que vous recherchiez une seule valeur optimale pour chacun des paramètres, en appliquant l'approche Bayesienne en appliquant le théorème de Bayes, vous obtenez la distribution a posteriori des paramètres. L'estimation finale dépendra des informations provenant de vos données et de vos a priori , mais plus vous y trouverez d'informations, moins les a priori ont d'influence .

Notez que lorsque vous utilisez des a priori uniformes, ils prennent la forme après la suppression des constantes de normalisation. Cela rend le théorème de Bayes uniquement proportionnel à la fonction de vraisemblance, de sorte que la distribution postérieure atteindra son maximum exactement au même point que l'estimation du maximum de vraisemblance. Ce qui suit, l’estimation sous les a priori uniformes sera la même que pour les moindres carrés ordinaires, car minimiser les erreurs au carré correspond à la maximisation de la vraisemblance normale .f(θ)1

Pour estimer un modèle en approche bayésienne, dans certains cas, vous pouvez utiliser des a priori conjugués . La distribution a posteriori est donc directement disponible (voir exemple ici ). Cependant, dans la grande majorité des cas, la distribution postérieure ne sera pas directement disponible et vous devrez utiliser les méthodes de Markov en chaîne de Monte Carlo pour estimer le modèle (consultez cet exemple d'utilisation de l'algorithme de Metropolis-Hastings pour estimer les paramètres de régression linéaire). Enfin, si vous n’êtes intéressé que par des estimations ponctuelles de paramètres, vous pouvez utiliser une estimation maximale a posteriori , à savoir:

argmaxα,β,σf(α,β,σY,X)

Pour une description plus détaillée de la régression logistique, vous pouvez vérifier le modèle logit bayésien - explication intuitive? fil.

Pour en savoir plus, vous pouvez consulter les livres suivants:

Kruschke, J. (2014). Analyse bayésienne de données: didacticiel avec R, JAGS et Stan. Presse académique.

Gelman, A., Carlin, JB, Stern, HS et Rubin, DB (2004). Analyse bayésienne des données. Chapman & Hall / CRC.


2
+1 Étant donné la formulation de la question, je soulignerais peut-être un peu plus cette différence philosophique: Dans les moindres carrés ordinaires et l'estimation du maximum de vraisemblance, nous commençons par la question "Quelles sont les meilleures valeurs pour (peut-être pour plus tard utilisation)?" βi, alors que dans l’approche bayésienne complète, nous commençons par la question "Que pouvons-nous dire sur les valeurs inconnues ?" βiet ensuite peut-être passer à la moyenne a posteriori ou postérieure maximale si une estimation ponctuelle est nécessaire.
JiK

2
+1 Une autre chose qu'il pourrait être utile de souligner pour clarifier la relation entre les approches bayésienne et MCO est que MLS peut être comprise comme une signification postérieure sous un plat avant (du moins autant que je comprends). Ce serait formidable si vous pouviez en dire un peu plus dans votre réponse.
amibe dit de réintégrer Monica

@ amoeba c'est un bon point, je vais y réfléchir. Mais d'un autre côté, je ne veux pas donner la réponse ouvertement longue, il est donc utile d'aller aux détails.
Tim

1
@ amoeba FYI, j'ai ajouté un bref commentaire à ce sujet.
Tim

22

Étant donné un ensemble de données où , une régression linéaire bayésienne modélise le problème de la manière suivante:D=(x1,y1),,(xN,yN)xRd,yR

Prior:

wN(0,σw2Id)

w est vector , la distribution précédente est donc une distribution gaussienne multivariée; et est la matrice d'identité .(w1,,wd)TIdd×d

Probabilité:

YiN(wTxi,σ2)

Nous supposons queYiYj|w,ij

Pour le moment, nous allons utiliser la précision au lieu de la variance, et . Nous supposerons également que sont connus.a=1/σ2b=1/σw2a,b

Le prior peut être énoncé sous la forme

p(w)exp{b2wtw}

Et la probabilité

p(D|w)exp{a2(yAw)T(yAw)}

où et est un la matrice où le i-ième rangée est .y=(y1,,yN)TAn×dxiT

Alors le postérieur est

p(w|D)p(D|w)p(w)

Après de nombreux calculs, nous découvrons que

p(w|D)N(w|μ,Λ1)

où ( est la matrice de précision)Λ

Λ=aATA+bId
μ=aΛ1ATy

Notez que est égal au de la régression linéaire régulière, car, pour le gaussien, la moyenne est égale au mode.μwMAP

De plus, nous pouvons faire de l’algèbre sur et obtenir l’égalité suivante ( ):μΛ=aATA+bId

μ=(ATA+baId)1ATy

et comparez avec :wMLE

wMLE=(ATA)1ATy

L'expression supplémentaire dans correspond à la précédente. Ceci est similaire à l'expression de la régression Ridge, pour le cas spécial où . La régression de crête est plus générale car la technique peut choisir des a priori inappropriés (dans la perspective bayésienne).μλ=ba

Pour la distribution prédictive postérieure:

p(y|x,D)=p(y|x,D,w)p(w|x,D)dw=p(y|x,w)p(w|D)dw

il est possible de calculer que

y|x,DN(μTx,1a+xTΛ1x)

Référence: Lunn et al. Le livre de bogues

Pour utiliser un outil MCMC tel que JAGS / Stan, consultez l’analyse Doing Bayesian de Kruschke.


Merci jpneto. Je pense que c'est une excellente réponse, mais je ne le comprends pas encore à cause d'un manque de connaissances en mathématiques. Mais je vais certainement le relire après avoir acquis quelques compétences en mathématiques
TinglTanglBob

1
C'est très bien, mais l'hypothèse que la précision est connue est un peu rare. N'est-il pas beaucoup plus courant de supposer une distribution gamma inverse pour la variance, c'est-à-dire une distribution gamma pour la précision?
DeltaIV

+1 Pouvez-vous en dire un peu plus sur "La régression Ridge est plus générale car la technique permet de choisir des a priori inappropriés"? Je ne comprends pas. Je pensais que RR = Gaussian (bon) avant . w
amibe dit de réintégrer Monica

@amoeba: Le prior gaussien est mais peut être égal à zéro, ce qui résulte sur un antécédent incorrect, c’est-à-dire qu’il en résulte le MLE. λwN(0,λ1Id)λ
jpneto

1
@ Delta IV: bien sûr, quand nous avons des incertitudes sur un paramètre, nous pouvons modéliser cela avec un préalable. L’hypothèse de précision connue est de faciliter la recherche d’une solution analytique. Habituellement, ces solutions analytiques ne sont pas possibles et nous devons utiliser des approximations, comme MCMC ou une technique variationnelle.
jpneto
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.