Dans l'inférence bayésienne, pourquoi certains termes sont-ils supprimés de la prédiction postérieure?

12

Dans l'analyse bayésienne conjuguée de Kevin Murphy de la distribution gaussienne , il écrit que la distribution prédictive postérieure est

p (x ∣ D) = \int p (x ∣ θ) p (θ ∣ D) d θ

$p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta$

où est les données sur lesquelles le modèle est ajusté et sont des données invisibles. Ce que je ne comprends pas, c'est pourquoi la dépendance à l'égard de disparaît au premier terme de l'intégrale. En utilisant des règles de probabilité de base, je m'attendais à: $D$ $x$ $D$

\begin{aligned} p (a) & = \int p (a ∣ c) p (c) d c \\ p (a ∣ b) & = \int p (a ∣ c, b) p (c ∣ b) d c \\ ↓ \\ p (x ∣ D) & = \int \overset{⋆}{\overset{⏞}{p (x ∣ θ, D)}} p (θ ∣ D) d θ \end{aligned}

$\begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int \overbrace{p(x \mid \theta, D)}^{\star} p(\theta \mid D) d \theta \end{align}$

Question: Pourquoi la dépendance à en terme disparaît-elle? $D$ $\star$

Pour ce que ça vaut, j'ai vu ce genre de formulation (suppression de variables dans les conditions) à d'autres endroits. Par exemple, dans Ryan Adam's Bayesian Online Changepoint Detection , il écrit la prédiction postérieure comme

p (x_{t + 1} ∣ r_{t}) = \int p (x_{t + 1} ∣ θ) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid r_t) = \int p(x_{t+1} \mid \theta) p(\theta \mid r_{t}, x_{t}) d \theta$

où encore, puisque , je me serais attendu $D = \{x_t, r_t\}$

p (x_{t + 1} ∣ x_{t}, r_{t}) = \int p (x_{t + 1} ∣ θ, x_{t}, r_{t}) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid x_t, r_t) = \int p(x_{t+1} \mid \theta, x_t, r_t) p(\theta \mid r_{t}, x_{t}) d \theta$

— gwg
source

13

Ceci est basé sur l'hypothèse que est conditionnellement indépendant de , étant donné . C'est une hypothèse raisonnable dans de nombreux cas, car tout ce qu'elle dit, c'est que les données d'apprentissage et de test ( et , respectivement) sont générées indépendamment à partir du même ensemble de paramètres inconnus . Compte tenu de cette hypothèse d'indépendance, , et donc le sort de la forme plus générale que vous attendiez. $x$ $D$ $\theta$ $D$ $x$ $\theta$ $p(x|\theta,D)=p(x|\theta)$ $D$

Dans votre deuxième exemple, il semble qu'une hypothèse d'indépendance similaire soit appliquée, mais maintenant (explicitement) dans le temps. Ces hypothèses peuvent être explicitement énoncées ailleurs dans le texte, ou elles peuvent être implicitement claires pour quiconque connaît suffisamment le contexte du problème (bien que cela ne signifie pas nécessairement que dans vos exemples particuliers - que je ne connais pas - les auteurs ont eu raison de supposer cette familiarité).

— Ruben van Bergen
source

9

C'est parce que est supposé être indépendant de étant donné . En d'autres termes, toutes les données sont supposées être iid à partir d'une distribution normale avec des paramètres . Une fois que est pris en compte en utilisant les informations de , il n'y a plus d'informations que nous donne sur un nouveau point de données . Donc . $x$ $D$ $\theta$ $\theta$ $\theta$ $D$ $D$ $x$ $p(x|\theta, D) = p(x|\theta)$

— JP Trawinski
source