Comment la suffisance bayésienne est-elle liée à la suffisance fréquentiste?

9

La définition la plus simple d'une statistique suffisante dans la perspective fréquentiste est donnée ici dans Wikipedia . Cependant, je suis récemment tombé sur un livre bayésien, avec la définition . Il est indiqué dans le lien que les deux sont équivalents, mais je ne vois pas comment. Aussi, dans cette même page, dans la section «Autres types de suffisance», il est indiqué que les deux définitions ne sont pas équivalentes dans les espaces de dimension infinie ... $P(\theta|x,t)=P(\theta|t)$

En outre, comment la suffisance prédictive est-elle liée à la suffisance classique?

bayesian mathematical-statistics sufficient-statistics

— Un vieil homme dans la mer.
source

4

Si une statistique est suffisante de manière fréquentiste, alors , donc $T$ $p(\mathbf{x} \mid \theta, t) = p(\mathbf{x} \mid t)$

\begin{aligned} p (θ ∣ x, t) & = \frac{p (x ∣ t, θ) p (t ∣ θ) p (θ)}{p (x ∣ t) p (t)} \\ (freq. suff.) & = \frac{p (t ∣ θ) p (θ)}{p (t)} \\ = p (θ ∣ t) . \end{aligned}

$\begin{align*} p(\theta \mid \mathbf{x}, t) &= \frac{p(\mathbf{x}\mid t,\theta)p(t \mid \theta) p(\theta)}{p(\mathbf{x}\mid t)p(t)} \\ &= \frac{p(t \mid \theta) p(\theta)}{p(t)} \tag{freq. suff.}\\ &= p(\theta \mid t). \end{align*}$

En revanche, si est suffisant à la manière bayésienne, alors $T$

\begin{aligned} p (x ∣ θ, t) & = \frac{p (x, θ, t)}{p (θ, t)} \\ = \frac{p (θ ∣ x, t) p (x, t)}{p (θ ∣ t) p (t)} \\ (Bayesian suff.) & = \frac{p (x, t)}{p (t)} \\ = p (x ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x} \mid \theta, t) &= \frac{p(\mathbf{x}, \theta,t)}{p(\theta,t)}\\ &= \frac{p(\theta \mid \mathbf{x},t) p(\mathbf{x},t)}{p(\theta\mid t)p(t)}\\ &= \frac{p(\mathbf{x},t)}{p(t)} \tag{Bayesian suff.}\\ &= p(\mathbf{x} \mid t). \end{align*}$

En ce qui concerne la «suffisance prédictive», qu'est-ce que c'est?

\begin{aligned} p (x^{'} ∣ x) & = \int p (x^{'} ∣ θ) p (θ ∣ x) d θ \\ (Bayesian suff.) & = \int p (x^{'} ∣ θ) p (θ ∣ t) d θ \\ = p (x^{'} ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x}' \mid \mathbf{x}) &= \int p(\mathbf{x}' \mid \theta)p(\theta \mid \mathbf{x}) d\theta\\ &= \int p(\mathbf{x}' \mid \theta) p(\theta \mid t)d\theta \tag{Bayesian suff.}\\ &= p(\mathbf{x}' \mid t). \end{align*}$

— Taylor
source

1

Taylor, c'est défini dans le même lien, juste en dessous dans la section de Bayesian Sufficiency.

— Un vieil homme dans la mer.

3

Nous sommes tombés sur un phénomène intéressant il y a quelques années , en étudiant le choix du modèle bayésien avec ABC. Ce qui, je pense, est lié à cette question. Il existe en effet une notion de suffisance pour le choix du modèle bayésien qui ne semble pas particulièrement significative en dehors de l'approche bayésienne.

M_{1} = {f_{θ} (\cdot); θ \in Θ}

$\mathfrak{M}_1=\{f_\theta(\cdot); \theta\in\Theta\}$

M_{2} = {g_{ξ} (\cdot); ξ \in Ξ}

$\mathfrak{M}_2=\{g_\xi(\cdot); \xi\in\Xi\}$

x = (x_{1}, \dots, x_{n})

$\mathbf{x}=(x_1,\ldots,x_n)$

S

$S$

X

$\mathbf{X}$

S (X)

$S(\mathbf{X})$

$\mathbf{X}$ $S(\mathbf{X})$

— Xi'an
source