Étapes pour comprendre une distribution postérieure alors qu'elle pourrait être assez simple pour avoir une forme analytique?

Cela a également été demandé à Computational Science.

J'essaie de calculer une estimation bayésienne de certains coefficients pour une autorégression, avec 11 échantillons de données:

{Oui}_{je} = μ + α \cdot {Oui}_{je - 1} + ϵ_{je}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$ où

ϵ_{i}

$\epsilon_{i}$ est gaussien avec moyenne 0 et variance

σ_{e}^{2}

$\sigma_{e}^{2}$ La distribution a priori sur le vecteur

(μ, α)^{t}

$(\mu, \alpha)^{t}$ est gaussienne avec moyenne

(0, 0)

$(0,0)$ et une matrice de covariance diagonale avec des entrées diagonales égales à

σ_{p}^{2}

$\sigma_{p}^{2}$ .

Sur la base de la formule d'autorégression, cela signifie que la distribution des points de données (les $Y_{i}$ ) est normale avec une moyenne $\mu + \alpha\cdot{}Y_{i-1}$ et variance $\sigma_{e}^{2}$ . Ainsi, la densité de tous les points de données $(Y)$ conjointement (en supposant l'indépendance, ce qui est bien pour le programme que j'écris), serait:

p (Oui | (μ, α)^{t}) = \prod_{je = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- ({Oui}_{je} - μ - α \cdot {Oui}_{je - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

Selon le théorème de Bayes, nous pouvons prendre le produit de la densité ci-dessus avec la densité antérieure, puis nous aurons juste besoin de la constante de normalisation. Mon intuition est que cela devrait fonctionner pour être une distribution gaussienne, donc nous pouvons nous soucier de la constante de normalisation à la fin plutôt que de la calculer explicitement avec des intégrales sur et . $\mu$ $\alpha$

C'est la partie avec laquelle j'ai du mal. Comment calculer la multiplication de la densité antérieure (qui est multivariée) et de ce produit de densités de données univariées? Le postérieur doit être purement une densité de et , mais je ne vois pas comment vous obtiendrez cela d'un tel produit. $\mu$ $\alpha$

Tous les pointeurs sont vraiment utiles, même si vous me pointez dans la bonne direction et que je dois ensuite faire l'algèbre en désordre (c'est ce que j'ai déjà tenté plusieurs fois).

Comme point de départ, voici la forme du numérateur de la règle de Bayes:

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{je = 2}^{11} ({Oui}_{je} - μ - α \cdot {Oui}_{je - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

La question est de savoir comment cela se réduit à une densité gaussienne de . $(\mu, \alpha)^{t}$

Ajoutée

En fin de compte, cela se résume au problème général suivant. Si l'on vous donne une expression quadratique telle que Comment mettre cela en une forme quadratique

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

pour une matrice 2x2

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$ ? Il est assez simple dans les cas faciles, mais quel processus utilisez-vous pour obtenir les estimations

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

Remarque, j'ai essayé l'option simple d'étendre la formule matricielle, puis d'essayer d'égaliser les coefficients comme ci-dessus. Le problème, dans mon cas, est que la constante est nulle, puis je finis par obtenir trois équations dans deux inconnues, il est donc sous-déterminé de ne faire correspondre que les coefficients (même si je suppose une matrice de forme quadratique symétrique). $L$

bayesian mathematical-statistics posterior

— ely
source

Ma réponse à [cette question] ( stats.stackexchange.com/questions/22852/… ) peut être utile. Notez que vous avez besoin d'un préalable pour votre première observation - les itérations s'arrêtent là.

— probabilityislogic

Je ne vois pas pourquoi j'en ai besoin dans ce cas. Je suis censé traiter les intervalles de temps comme s'ils étaient indépendants conditionnellement compte tenu de l'observation. Notez que le produit de la densité du joint est juste de

. Je ne pense pas que je suis censé obtenir une formule mise à jour séquentiellement ici, juste une seule formule pour le

postérieur

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— ely

Le "multivarié" dans les

antérieurs n'est pas en contradiction avec le "univarié" dans les densités de données, car ce sont des densités dans les

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— Xi'an

L'indice qui était dans ma réponse à la réponse précédente est de voir comment j'ai intégré les paramètres - parce que vous ferez exactement les mêmes intégrales ici. Votre question suppose que les paramètres de variance connus, ce sont donc des constantes. Il suffit de regarder ledépendance du numérateur. Pour voir cela, notons que nous pouvons écrire: $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Remarquez comment nous pouvons tirer le premier facteur de l'intégrale double sur le dénominateur, et il annule avec le numérateur. On peut aussi extraire la somme des carrés $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ et il sera également annulé. L'intégrale qui nous reste est maintenant (après avoir élargi le terme au carré): $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Maintenant, nous pouvons utiliser un résultat général du pdf normal.

Cela découle du fait de compléter le carré suret de noter quene dépend pas de. Notez que l'intégrale interne surest de cette forme avec

\int \exp (- une z^{2} + b z - c) ré z = \sqrt{\frac{π}{une}} \exp (\frac{b^{2}}{4 une} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$

- a z^{2} + b z

$-az^2+bz$

c

$c$

z

$z$

μ

$\mu$

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$

. Après avoir fait cette intégrale, vous constaterez que l'intégrale restante sur

est également de cette forme, vous pouvez donc réutiliser cette formule, avec un différent

. Ensuite, vous devriez pouvoir écrire votre postérieur sous la forme

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$

α

$\alpha$

a, b, c

$a,b,c$

où

est un

matrice

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$

V

$V$

2 \times 2

$2\times 2$

Faites-moi savoir si vous avez besoin de plus d'indices.

mise à jour

(note: formule correcte, devrait être de au lieu de ) $10\mu^2$ $\mu^2$

$5$ $L$ $5$ $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

$A=Q_{11},B=2Q_{12},C=Q_{22}$ $\hat{\alpha},\hat{\mu}$ $Q$

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

Ainsi, les estimations sont données par:

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

$4AC\neq B^2$

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

$X_i=Y_{i-1}$ $i=2,\dots,11$ $\sigma^2_p\to\infty$ $\mu,\alpha$ $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ $(0,0)$

— probabilitéislogique
source

Ce n'est pas particulièrement utile car j'ai mentionné spécifiquement que ce n'est pas le dénominateur qui importe ici. Le dénominateur n'est qu'une constante de normalisation, ce qui sera évident une fois que vous aurez réduit le numérateur à une forme gaussienne. Donc, les astuces pour évaluer les intégrales dans le dénominateur sont mathématiquement vraiment cool, mais tout simplement pas nécessaires pour mon application. Le seul problème avec lequel j'ai besoin de résolution est la manipulation du numérateur.

— le

(α, μ)

$(\alpha,\mu)$

@ems - en calculant la constante de normalisation, vous construirez la forme quadratique requise. il contiendra les termes nécessaires pour compléter le carré

— probabilitéislogique

Je ne comprends pas comment cela vous donne la forme quadratique. J'ai élaboré les deux intégrales du dénominateur en utilisant l'identité intégrale gaussienne que vous avez publiée. En fin de compte, je reçois juste une constante énorme et désordonnée. Il ne semble pas y avoir de moyen clair de prendre cette constante et de la transformer en quelque chose de fois déterminant pour la puissance 1/2, etc. Sans oublier que je ne vois pas comment cela explique comment calculer la nouvelle ' vecteur moyen

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$

Merci énormément pour l'ajout détaillé. Je faisais des erreurs stupides en essayant de faire l'algèbre pour comprendre la forme quadratique. Vos commentaires sur la relation avec l'estimateur OLS sont également très intéressants et appréciés. Je pense que cela accélérera mon code parce que je serai en mesure de tirer des échantillons d'une forme analytique qui a des méthodes optimisées intégrées. Mon plan initial était d'utiliser Metropolis-Hastings pour échantillonner, mais c'était très lent. Merci!

— le