Mise à jour d'un facteur Bayes

Un facteur bayésien est défini dans les tests bayésiens d'hypothèse et de sélection du modèle bayésien par le rapport de deux probabilités marginales: pour un échantillon iid et les densités d'échantillonnage respectives et , avec les a priori correspondants et , le facteur Bayes pour comparer les deux modèles est Un livre que je suis en train de lire contient l'étrange déclaration que le facteur Bayes ci-dessus $(x_1,\ldots,x_n)$ $f_1(x|\theta)$ $f_2(x|\eta)$ $\pi_1$ $\pi_2$

B_{12} (X_{1}, \dots, X_{n}) \overset{def}{=} \frac{m_{1} (X_{1}, \dots, X_{n})}{m_{2} (X_{1}, \dots, X_{n})} \overset{def}{=} \frac{\int \prod_{je = 1}^{n} F_{1} (X_{je} | θ) π_{1} (ré θ)}{\int \prod_{je = 1}^{n} F_{2} (X_{je} | η) π_{2} (ré η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ est "formé en multipliant les facteurs individuels [facteurs Bayes] ensemble" (p.118). Ceci est formellement correct si l'on utilise la décomposition mais je ne vois aucun avantage de calcul dans cette décomposition comme mise à jour par nécessite le même effort de calcul que le calcul d'origine de

\begin{aligned} B_{12} (X_{1}, \dots, X_{n}) & = \frac{m_{1} (X_{1}, \dots, X_{n})}{m_{2} (X_{1}, \dots, X_{n})} \\ = \frac{m_{1} (X_{n} | X_{1}, \dots, X_{n - 1})}{m_{2} (X_{n} | X_{1}, \dots, X_{n - 1})} \times \frac{m_{1} (X_{n - 1} | X_{n - 2}, \dots, X_{1})}{m_{2} (X_{n - 1} | X_{n - 2}, \dots, X_{1})} \times \dots \\ \dots \times \frac{m_{1} (X_{1})}{m_{2} (X_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$

\frac{m_{1} (X_{n} | X_{1}, \dots, X_{n - 1})}{m_{2} (X_{n} | X_{1}, \dots, X_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$

\frac{m_{1} (X_{1}, \dots, X_{n})}{m_{2} (X_{1}, \dots, X_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ en dehors des exemples de jouets artificiels.

Question: Existe - t-il un moyen générique et efficace de mettre à jour le facteur Bayes de vers qui ne nécessite pas de recalculer les marginaux entiers et ? $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ $m_1(x_1,\ldots,x_n)$ $m_2(x_1,\ldots,x_n)$

Mon intuition est que, outre les filtres à particules, qui procèdent effectivement à l'estimation des facteurs de Bayes $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ une nouvelle observation à la fois, il n'y a pas de moyen naturel de répondre à cette question .

— Xi'an
source

Il ne me semble pas clair que la formulation implique nécessairement une factorisation séquentielle , car les observations sont iid. Au cours de ses études supérieures, un professeur a mentionné que le produit implique que l'on pouvait utiliser des approximations asymptotiques pour les analyses bayésiennes, mais étrangement cela n'avait pas pris (sarcasme). Peut-être que le livre pourrait faire allusion à cela?

— Cliff AB

@CliffAB: Oui, vous pouvez réécrire la probabilité en tant que moyenne de termes individuels, convergeant vers une distance de Kullback-Leibler de la vraie distribution. Mais je ne pense pas que ce soit le cas, même si le livre n'est pas assez clair pour garder toutes les options ouvertes.

— Xi'an

Je crois qu'il y a une faute de frappe dans la deuxième équation affichée: devrait-il être dans le deuxième facteur sur la deuxième ligne?

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

— jochen

On peut supposer que le but d'une équation récursive pour le facteur Bayes serait lorsque vous avez déjà calculé le facteur Bayes pour points de données et que vous souhaitez pouvoir le mettre à jour avec un point de données supplémentaire. Il semble qu'il soit possible de le faire sans recalculer les marginaux du vecteur de données précédent, tant que la forme de la fonction postérieure est connue. En supposant que nous connaissons la forme de cette fonction (et en supposant des données IID comme dans votre question), la densité prédictive peut être écrite comme: $n$ $\pi_n$

\begin{aligned} m (X_{n + 1} | X_{1}, . . ., X_{n}) & = \int_{Θ} F (X_{n + 1} | θ) π_{n} (ré θ | X_{1}, . . ., X_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Vous avez donc:

\begin{aligned} m (X_{1}, . . ., X_{n + 1}) & = m (X_{1}, . . ., X_{n}) \int_{Θ} F (X_{n + 1} | θ) π_{n} (ré θ | X_{1}, . . ., X_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

En comparant deux classes de modèle via le facteur de Bayes, nous obtenons alors l'équation récursive:

\begin{aligned} B_{12} (X_{1}, . . ., X_{n + 1}) & = B_{12} (X_{1}, . . ., X_{n}) \cdot \frac{\int_{Θ_{1}} F (X_{n + 1} | θ) π_{1, n} (ré θ | X_{1}, . . ., X_{n})}{\int_{Θ_{2}} F (X_{n + 1} | θ) π_{2, n} (ré θ | X_{1}, . . ., X_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

Cela implique toujours l'intégration sur la plage de paramètres, donc je suis d'accord avec votre avis qu'il ne semble pas y avoir d'avantage de calcul par rapport au simple recalcul du facteur Bayes via la formule initiale que vous donnez. Néanmoins, vous pouvez voir que cela ne vous oblige pas à recalculer les marginaux pour le vecteur de données précédent. (Au lieu de cela, nous calculons les densités prédictives du nouveau point de données conditionnelles aux données précédentes, sous chacune des classes de modèle.) Comme vous, je ne vois vraiment aucun avantage de calcul de cela, sauf s'il arrive que cette formule intégrale se simplifie facilement. En tout cas, je suppose que cela vous donne une autre formule pour mettre à jour le facteur Bayes.

— Ben - Réintègre Monica
source

Je vous remercie. Il est vrai que les marginaux n'ont pas besoin d'être recalculés, stricto sensu , mais la quantité de calcul semble être la même, comme vous le remarquez.

— Xi'an

Le seul avantage auquel je peux penser est que, comme nous n'intégrons désormais que sur une seule densité (plutôt que le produit de densités), l'intégrande sera moins volatile, et cette dernière formule pourrait donc faciliter la prévention des problèmes de débordement dans calcul. C'est peut-être un gros tout de même.

n

$n$

— Ben - Réintègre Monica le