Modélisation bayésienne utilisant la normale multivariée avec la covariable

Supposons que vous ayez une variable explicative où représente une coordonnée donnée. Vous avez également une variable de réponse . Maintenant, nous pouvons combiner les deux variables comme: ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ $s$ ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$

W (s) = (\begin{array}{ccc} X (s) \\ Y (s) \end{array}) \sim N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

Dans ce cas, nous choisissons simplement $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ et $T$ est une matrice de covariance qui décrit la relation entre $X$ et $Y$ . Cela ne décrit que la valeur de $X$ et $Y$ à $s$ . Puisque nous avons plus de points provenant d'autres emplacements pour $X$ et $Y$ , nous pouvons décrire plus de valeurs de ${\bf{W}}(s)$ de la manière suivante:

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Vous remarquerez que nous avons réorganisé les composants de $\bf{X}$ et $\bf{Y}$ pour obtenir tous les $X(s_i)$ dans une colonne et après cela, concaténer tous les $Y(s_i)$ ensemble. Chaque composant $H(\phi)_{ij}$ est une fonction de corrélation $\rho(s_i, s_j)$ et $T$ est comme ci-dessus. La raison pour laquelle nous avons la covariance $T\otimes H(\phi)$ est parce que l' on suppose qu'il est possible de séparer la matrice de covariance comme $C(s, s')=\rho(s, s') T$ .

Question 1: Lorsque je calcule le ${\bf{Y}}\mid{\bf{X}}$ , ce que je fais en fait, c'est de générer un ensemble de valeurs de $\bf{Y}$ basé sur $\bf{X}$ , correct? J'ai déjà $\bf{Y}$ donc je serais plus intéressé à prédire un nouveau point $y(s_{0})$ . Dans ce cas, je devrais avoir une matrice $H^{*}(\phi)$ définie comme

H^{*} (ϕ) = (\begin{array}{ccc} H (ϕ) & h \\ h & ρ (0, ϕ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

dans lequel $\boldsymbol{h}(\phi)$ est un vecteur $\rho(s_{0} - s_{j};\phi)$ . Par conséquent, nous pouvons construire un vecteur (sans réarrangement):

W^{*} = {(W (s_{1}), \dots, W (s_{n}), W (s_{0}))}^{T} \sim N (\begin{array}{ccc} 1_{n + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, H (ϕ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

Et maintenant je viens de réorganiser pour obtenir une distribution conjointe et obtenir le conditionnel . $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

Est-ce correct?

Question 2: Pour prédire, l'article que je lis indique que je dois utiliser cette distribution conditionnelle et obtenir une postérieure distribution , mais je ne sais pas comment obtenir la distribution postérieure des paramètres. Je pourrais peut-être utiliser la distribution que je pense est exactement le même que , puis utilisez simplement le théorème de Bayes pour obtenir $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

Question 3: À la fin du sous-chapitre, l'auteur dit ceci:

Pour la prédiction, nous n'avons pas . Cela ne crée pas de nouveaux problèmes car il peut être traité comme une variable latente et incorporé dans Cela ne fait que générer un tirage supplémentaire dans chaque itération de Gibbs et est un ajout trivial à la tâche de calcul. ${\bf{X}}(s_0)$ $\bf{x}'$

Que signifie ce paragraphe?

Soit dit en passant, cette procédure se trouve dans cet article (page 8), mais comme vous pouvez le voir, j'ai besoin d'un peu plus de détails.

Merci!

— Robert Smith
source

A voté pour migrer par demande OP .

Je dirais que vos réponses aux questions 1 et 2 sont correctes . La question 3 signifie que le non observé est traité comme un paramètre supplémentaire, en plus de , en utilisant le conditionnel complet comme précédemment sur .

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

— Xi'an

Question 1: Étant donné votre modèle de probabilité conjoint la distribution conditionnelle de étant donné est également normal, avec une moyenne et matrice de variance-covariance

(\begin{array}{ccc} X \\ Y \end{array}) \sim N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (X - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21} .

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ (Ces formules sont copiées textuellement à partir de la page Wikipedia sur les normales multivariées .) Il en va de même pour puisque est un autre vecteur normal.

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

Question 2: Le prédictif est défini comme c'est-à-dire en intégrant les paramètres en utilisant la distribution postérieure de ces postérieurs, étant donné les données actuelles . Il y a donc un peu plus dans la réponse complète. Évidemment, si vous avez seulement besoin de simuler à partir du prédictif, votre notion de simulation conjointe à partir de puis à partir de est valide. $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

p (y (s_{0}) | x (s_{0}), X, Y) = \int p (y (s_{0}) | x (s_{0}), X, Y, μ, T, ϕ) p (μ, T, ϕ | x (s_{0}), X, Y) d μ d T d ϕ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

Question 3: Dans le cas où n'est pas observé, la paire peut être prédite à partir d'un autre prédicteur $x(s_0)$ $(x(s_0),y(s_0))$

p (x (s_{0}), y (s_{0}) ∣ X, Y) = \int p (x (s_{0}), y (s_{0}) ∣ X, Y, μ, T, ϕ) p (μ, T, ϕ ∣ X, Y) d μ d T d ϕ .

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

Lors de la simulation à partir de ce prédictif, car il n'est pas disponible sous une forme gérable, un échantillonneur Gibbs peut être exécuté qui simule de manière itérative

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

ou bien fusionner les étapes 4 et 5 en une seule étape

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

— Xi'an
source