Régression bayésienne au singulier

Communauté SE, j'espère avoir un aperçu du problème suivant. Étant donné un modèle de régression linéaire simple

Y = X β + ϵ, where Y \in R^{T}, X \in R^{T \times N} .

$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$ Sous une fonction de vraisemblance gaussienne avec des termes d'erreur homoscédastiques, la distribution conditionnelle de la variable dépendante prend la forme

Y | β, h \sim N (X β, h^{- 1} I) .

$Y|\beta,h \sim N(X\beta,h^{-1}I).$ J'attribue un conjugué conditionnel (non informatif) avant pour

β

$\beta$ et

h

$h$

β | h \sim N (0, c I), h \sim G (s^{- 2}, v)

$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$ étaient

c \to \infty, v \to 0

$c\rightarrow\infty, v\rightarrow0$ . C’est un résultat standard que la distribution marginale postérieure de

β

$\beta$ est t multivarié avec

β | D \sim t_{N} (\hat{β}, \hat{Σ}, T) .

$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$ Ce qui se passe si

(X^{'} X)

$(X'X)$ est singulier? Dans la régression standard, je choisirais le pseudoinverse généralisé de Moore-Penrose

(X^{'} X)^{+}

$(X'X)^+$ à la place d'utiliser

(X^{'} X)^{- 1}

$(X'X)^{-1}$ . Cependant, dans ce cas, la variance postérieure

\hat{Σ} := c (X^{'} X)^{- 1}

$\hat{\Sigma}:=c(X'X)^{-1}$ serait également singulier et je doute que le

t

$t$ -La distribution est encore bien définie. Est-ce correct?

Et encore plus distrayant pour moi: supposons que je ne suis pas vraiment intéressé par la distribution postérieure de $\beta$ mais juste une combinaison linéaire $z:=A\beta$ où $A\in\mathbb{R}^{N-1 \times N}$ , et $|A\hat{\Sigma}A'|\neq 0$ . Je pourrais échantillonner à partir de cette distribution bien que sa construction soit basée sur quelque chose qui n'est pas vraiment défini (la distribution de $\beta$ ). Existe-t-il un moyen de gérer cela? Ou y a-t-il une erreur essentielle dans ma question qui rend mon argument obsolète?

— muffin1974
source

Au mieux, les priorités non informatives fournissent des résultats utiles lorsque les données identifient de manière unique les paramètres du modèle - Cette observation est essentiellement la raison pour laquelle nous avons une régression de crête et ses apparentés au lieu de nous fier uniquement à l'OLS. Mais si les données ne sont pas suffisamment informatives, on choisira généralement la voie de régression régularisée (crête, etc.) ou la voie entièrement bayésienne. Dans l'itinéraire complet des Bayes, définissez simplement des distributions préalables appropriées et informatives sur vos données et le problème sera résolu.

— Sycorax dit Réintégrer Monica

Merci pour vos commentaires jusqu'à présent! Je comprends que le postérieur de

β

$\beta$ n'est pas correctement défini. Cependant, cela pose-t-il vraiment des problèmes pour la variable aléatoire

z

$z$ qui est au moins théoriquement bien défini?

— muffin1974

Bien. ce qui me dérange, c'est que le postérieur de

z

$z$ semble plausible bien que la voie vers une solution ne soit pas du tout satisfaisante. Je recherche actuellement un moyen de réécrire l'équation de régression, car je suis optimiste quant à la possibilité d'obtenir directement des paramètres de régression

z

$z$ au lieu de perdre du temps à chercher

β

$\beta$ . Cependant, bien que cela semble possible dans mon cas spécifique, je me pose toujours la question de savoir ce que cela signifie si un «mauvais» modèle est imbriqué dans un modèle fonctionnel ...

— muffin1974

Le problème majeur de votre question est que la prise de limites ne s'étend pas directement aux mesures et aux distributions de probabilité. Il existe de nombreux types de convergence différents associés aux mesures.

Par conséquent, compte tenu du conjugué

β | h \sim N (0, c I), h \sim G (s^{- 2}, ν)

$\beta|h \sim \mathcal{N}(0,cI), h\sim \mathcal{G}(s^{-2},\nu)$ et laisser

ν

$\nu$ et

c

$c$ aller à

0

$0$ et

\infty

$\infty$ , respectivement, n'a pas de signification mathématique propre ou unique.

Maintenant, si vous considérez le mauvais avant

π (β, h) \propto \frac{1}{h}

$\pi(\beta,h)\propto\frac{1}{h}$ il n'y a pas de distribution postérieure associée à la probabilité

L (β, h | X, y) = \exp {- h (y - X β)^{T} (y - X β) / 2} h^{T / 2}

$L(\beta,h|X,y)=\exp\{-h(y-X\beta)^\text{T}(y-X\beta)/2\}h^{T/2}$ parce que le potentiel postérieur ne s'intègre pas dans

β

$\beta$ sur conditionnelle

h

$h$ . Il n'y a pas

\hat{Σ} = (X^{T} X)^{- 1}

$\hat{\Sigma}=(X^\text{T}X)^{-1}$ soit parce que l'inverse n'existe pas et pas de distribution bien définie sur

A β

$A\beta$ .

— Xi'an
source