Du point de vue de la probabilité bayésienne, pourquoi un intervalle de confiance à 95% ne contient-il pas le vrai paramètre avec une probabilité de 95%?

14

À partir de la page Wikipedia sur les intervalles de confiance :

... si des intervalles de confiance sont construits sur de nombreuses analyses de données distinctes d'expériences répétées (et éventuellement différentes), la proportion de ces intervalles qui contiennent la vraie valeur du paramètre correspondra au niveau de confiance ...

Et à partir de la même page:

Un intervalle de confiance ne prévoit pas que la vraie valeur du paramètre a une probabilité particulière d'être dans l'intervalle de confiance compte tenu des données réellement obtenues.

Si j'ai bien compris, cette dernière affirmation est faite en ayant à l'esprit l'interprétation fréquentiste de la probabilité. Cependant, du point de vue de la probabilité bayésienne, pourquoi un intervalle de confiance à 95% ne contient-il pas le vrai paramètre avec une probabilité de 95%? Et si ce n'est pas le cas, quel est le problème avec le raisonnement suivant?

Si j'ai un processus qui, je le sais, produit une réponse correcte dans 95% des cas, la probabilité que la réponse suivante soit correcte est de 0,95 (étant donné que je n'ai pas d'informations supplémentaires concernant le processus). De même, si quelqu'un me montre un intervalle de confiance créé par un processus qui contiendra le vrai paramètre 95% du temps, ne devrais-je pas avoir raison de dire qu'il contient le vrai paramètre avec une probabilité de 0,95, étant donné ce que je sais?

Cette question est similaire, mais pas la même que, Pourquoi un IC à 95% n'implique-t-il pas une chance de 95% de contenir la moyenne? Les réponses à cette question se sont concentrées sur les raisons pour lesquelles un IC à 95% n'implique pas une probabilité de 95% de contenir la moyenne d'un point de vue fréquentiste. Ma question est la même, mais dans une perspective de probabilité bayésienne.

bayesian confidence-interval

— Rasmus Bååth
source

Une façon de penser à cela est que l'IC à 95% est une «moyenne à long terme». Il existe maintenant de nombreuses façons de diviser vos cas "à court terme" afin d'obtenir une couverture assez arbitraire - mais une fois la moyenne obtenue, donnez 95% dans l'ensemble. Une autre façon plus abstraite est de générer

x_{i} \sim B e r n o u l l i (p_{i})

$x_i\sim Bernoulli (p_i)$ pour de telle sorte que . Il existe un nombre infini de façons de procéder. Ici indique si le CI créé avec le ième ensemble de données contenait ou non le paramètre, et

i = 1, 2, \dots

$i=1, 2,\dots$

\sum_{i = 1}^{\infty} p_{i} = 0.95

$\sum_{i=1}^{\infty} p_i=0.95$

x_{i}

$x_i$

p_{i}

$p_i$ est la probabilité de couverture pour ce cas.

— probabilités du

11

Mise à jour : Avec le recul de quelques années, j'ai rédigé un traitement plus concis essentiellement du même matériau en réponse à une question similaire.

Comment construire une région de confiance

Commençons par une méthode générale de construction des régions de confiance. Il peut être appliqué à un seul paramètre, pour produire un intervalle de confiance ou un ensemble d'intervalles; et il peut être appliqué à deux paramètres ou plus, pour produire des régions de confiance dimensionnelles plus élevées.

Nous affirmons que les statistiques observées $D$ proviennent d'une distribution avec les paramètres $\theta$ , à savoir la distribution d'échantillonnage $s(d|\theta)$ sur les statistiques possibles $d$ , et cherchons une région de confiance pour $\theta$ dans l'ensemble des valeurs possibles $\Theta$ . Définissez une région à plus haute densité (HDR): le $h$ -HDR d'un PDF est le plus petit sous-ensemble de son domaine qui prend en charge la probabilité $h$ . Notons le $h$ -HDR de $s(d|\psi)$ comme $H_\psi$ , pour tout $\psi \in \Theta$ . Ensuite, larégion de confiance $h$ pour $\theta$ , étant donné les données $D$ , est l'ensemble $C_D = \{ \phi : D \in H_\phi \}$ . Une valeur typique de $h$ serait 0,95.

Une interprétation fréquentiste

De la définition précédente d'une région de confiance suit

d \in H_{ψ} ⟷ ψ \in C_{d}

$d \in H_\psi \longleftrightarrow \psi \in C_d$ avec

C_{d} = {ϕ : d \in H_{ϕ}}

$C_d = \{ \phi : d \in H_\phi \}$ . Maintenant , imaginez un grand nombre de ( imaginaires observations)

{D_{i}}

$\{D_i\}$ , pris dans des circonstances similaires à

D

$D$ . ie Ce sont des échantillons de

s (d | θ)

$s(d|\theta)$ . Puisque

H_{θ}

$H_\theta$ supporte la masse de probabilité

h

$h$ des PDF

s (d | θ)

$s(d|\theta)$ ,

P (D_{i} \in H_{θ}) = h

$P(D_i \in H_\theta) = h$ pour tout

i

$i$ . Par conséquent, la fraction de

{D_{i}}

$\{D_i\}$ pour laquelle

D_{i} \in H_{θ}

$D_i \in H_\theta$ est

h

$h$ . Et donc, en utilisant l'équivalence ci-dessus, la fraction de

{D_{i}}

$\{D_i\}$ pour laquelle

θ \in C_{D_{i}}

$\theta \in C_{D_i}$ est également

h

$h$ .

C'est donc ce que la revendication fréquentiste pour la région de confiance $h$ pour $\theta$ équivaut à:

Prenez un grand nombre d'observations imaginaires $\{D_i\}$ de la distribution d'échantillonnage $s(d|\theta)$ qui a donné lieu à des statistiques observées $D$ . Alors, $\theta$ se situe dans une fraction $h$ des régions de confiance analogues mais imaginaires $\{C_{D_i}\}$ .

La région de confiance $C_D$ ne prétend donc pas à la probabilité que $\theta$ se situe quelque part! La raison en est simplement qu'il n'y a rien dans la fomulation qui nous permette de parler d'une distribution de probabilité sur $\theta$ . L'interprétation est juste une superstructure élaborée, qui n'améliore pas la base. La base n'est que $s(d | \theta)$ et $D$ , où $\theta$ n'apparaît pas comme une quantité distribuée, et il n'y a aucune information que nous pouvons utiliser pour y remédier. Il existe essentiellement deux façons d'obtenir une distribution sur $\theta$ :

Attribuez une distribution directement à partir des informations disponibles: $p(\theta | I)$ .
Reliez $\theta$ à une autre quantité distribuée: $p(\theta | I) = \int p(\theta x | I) dx = \int p(\theta | x I) p(x | I) dx$ .

Dans les deux cas, $\theta$ doit apparaître quelque part à gauche. Les fréquencistes ne peuvent utiliser aucune des deux méthodes, car elles nécessitent toutes deux un préalable hérétique.

Une vue bayésienne

Tout ce qu'un bayésien peut faire de la région de confiance $h$ $C_D$ , donnée sans qualification, est simplement l'interprétation directe: que c'est l'ensemble de $\phi$ pour lequel $D$ tombe dans le $h$ -HDR $H_\phi$ de la distribution d'échantillonnage $s(d|\phi)$ . Cela ne nous dit pas nécessairement grand-chose sur $\theta$ , et voici pourquoi.

La probabilité que $\theta \in C_D$ , étant donné $D$ et les informations de base $I$ , soit:

\begin{aligned} P (θ \in C_{D} | D I) & = \int_{C_{D}} p (θ | D I) d θ \\ = \int_{C_{D}} \frac{p (D | θ I) p (θ | I)}{p (D | I)} d θ \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} p(\theta | DI) d\theta \\ &= \int_{C_D} \frac{p(D | \theta I) p(\theta | I)}{p(D | I)} d\theta \end{align*}$ Notez que, contrairement à l'interprétation fréquentiste, nous avons immédiatement demandé une distribution sur

θ

$\theta$ . L'information de base

I

$I$ nous dit, comme précédemment, que la distribution d'échantillonnage est

s (d | θ)

$s(d | \theta)$ :

\begin{aligned} P (θ \in C_{D} | D I) & = \int_{C_{D}} \frac{s (D | θ) p (θ | I)}{p (D | I)} d θ \\ = \frac{\int_{C_{D}} s (D | θ) p (θ | I) d θ}{p (D | I)} \\ i.e. P (θ \in C_{D} | D I) & = \frac{\int_{C_{D}} s (D | θ) p (θ | I) d θ}{\int s (D | θ) p (θ | I) d θ} \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \int_{C_D} \frac{s(D | \theta) p(\theta | I)}{p(D | I)} d \theta \\ &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{p(D | I)} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(D | \theta) p(\theta | I) d\theta}{\int s(D | \theta) p(\theta | I) d\theta} \end{align*}$ Or, cette expression n'évalue généralement pas en

h

$h$ , c'est-à-dire que larégion de confiance

h

$h$

C_{D}

$C_D$ ne contient pas toujours

θ

$\theta$ de probabilité

h

$h$ . En fait, il peut être très différent de

h

$h$ . Il existe cependant de nombreuses situations courantes dans lesquelles ilestévalué à

h

$h$ , c'est pourquoi les régions de confiance sont souvent cohérentes avec nos intuitions probabilistes.

Par exemple, supposons que le joint PDF antérieur de $d$ et $\theta$ soit symétrique en ce que $p_{d,\theta}(d,\theta | I) = p_{d,\theta}(\theta,d | I)$ . (Cela implique clairement une hypothèse selon laquelle le PDF s'étend sur le même domaine en $d$ et $\theta$ .) Ensuite, si l'a priori est $p(\theta | I) = f(\theta)$ , nous avons $s(D | \theta) p(\theta | I) = s(D | \theta) f(\theta) = s(\theta | D) f(D)$ . D'où

\begin{aligned} P (θ \in C_{D} | D I) & = \frac{\int_{C_{D}} s (θ | D) d θ}{\int s (θ | D) d θ} \\ i.e. P (θ \in C_{D} | D I) & = \int_{C_{D}} s (θ | D) d θ \end{aligned}

$\begin{align*} P(\theta \in C_D | DI) &= \frac{\int_{C_D} s(\theta | D) d\theta}{\int s(\theta | D) d\theta} \\ \text{i.e.} \quad\quad P(\theta \in C_D | DI) &= \int_{C_D} s(\theta | D) d\theta \end{align*}$ D'après la définition d'un HDR, nous savons que pour tout

ψ \in Θ

$\psi \in \Theta$

\begin{aligned} \int_{H_{ψ}} s (d | ψ) d d & = h \\ and therefore that \int_{H_{D}} s (d | D) d d & = h \\ or equivalently \int_{H_{D}} s (θ | D) d θ & = h \end{aligned}

$\begin{align*} \int_{H_\psi} s(d | \psi) dd &= h \\ \text{and therefore that} \quad\quad \int_{H_D} s(d | D) dd &= h \\ \text{or equivalently} \quad\quad \int_{H_D} s(\theta | D) d\theta &= h \end{align*}$ Therefore, given that

s (d | θ) f (θ) = s (θ | d) f (d)

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ ,

C_{D} = H_{D}

$C_D = H_D$ implies

P (θ \in C_{D} | D I) = h

$P(\theta \in C_D | DI) = h$ . The antecedent satisfies

C_{D} = H_{D} ⟷ \forall ψ [ψ \in C_{D} \leftrightarrow ψ \in H_{D}]

$C_D = H_D \longleftrightarrow \forall \psi \; [ \psi \in C_D \leftrightarrow \psi \in H_D ]$ Applying the equivalence near the top:

C_{D} = H_{D} ⟷ \forall ψ [D \in H_{ψ} \leftrightarrow ψ \in H_{D}]

$C_D = H_D \longleftrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$ Thus, the confidence region

C_{D}

$C_D$ contains

θ

$\theta$ with probability

h

$h$ if for all possible values

ψ

$\psi$ of

θ

$\theta$ , the

h

$h$ -HDR of

s (d | ψ)

$s(d | \psi)$ contains

D

$D$ if and only if the

h

$h$ -HDR of

s (d | D)

$s(d | D)$ contains

ψ

$\psi$ .

Now the symmetric relation $D \in H_\psi \leftrightarrow \psi \in H_D$ is satisfied for all $\psi$ when $s(\psi + \delta | \psi) = s(D - \delta | D)$ for all $\delta$ that span the support of $s(d | D)$ and $s(d | \psi)$ . We can therefore form the following argument:

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ (premise)
$\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ]$ (premise)
$\forall \psi \; \forall \delta \; [ s(\psi + \delta | \psi) = s(D - \delta | D) ] \longrightarrow \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
$\therefore \quad \forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ]$
$\forall \psi \; [ D \in H_\psi \leftrightarrow \psi \in H_D ] \longrightarrow C_D = H_D$
$\therefore \quad C_D = H_D$
$[s(d | \theta) f(\theta) = s(\theta | d) f(d) \wedge C_D = H_D] \longrightarrow P(\theta \in C_D | DI) = h$
$\therefore \quad P(\theta \in C_D | DI) = h$

Let's apply the argument to a confidence interval on the mean of a 1-D normal distribution $(\mu, \sigma)$ , given a sample mean $\bar{x}$ from $n$ measurements. We have $\theta = \mu$ and $d = \bar{x}$ , so that the sampling distribution is

s (d | θ) = \frac{\sqrt{n}}{σ \sqrt{2 π}} e^{- \frac{n}{2 σ^{2}} {(d - θ)}^{2}}

$s(d | \theta) = \frac{\sqrt{n}}{\sigma \sqrt{2 \pi}} e^{-\frac{n}{2 \sigma^2} { \left( d - \theta \right) }^2 }$ Suppose also that we know nothing about

θ

$\theta$ before taking the data (except that it's a location parameter) and therefore assign a uniform prior:

f (θ) = k

$f(\theta) = k$ . Clearly we now have

s (d | θ) f (θ) = s (θ | d) f (d)

$s(d | \theta) f(\theta) = s(\theta | d) f(d)$ , so the first premise is satisfied. Let

s (d | θ) = g ((d - θ)^{2})

$s(d | \theta) = g\left( (d - \theta)^2 \right)$ . (i.e. It can be written in that form.) Then

\begin{matrix} s (ψ + δ | ψ) = g ((ψ + δ - ψ)^{2}) = g (δ^{2}) \\ and s (D - δ | D) = g ((D - δ - D)^{2}) = g (δ^{2}) \\ so that \forall ψ \forall δ [s (ψ + δ | ψ) = s (D - δ | D)] \end{matrix}

$\begin{gather*} s(\psi + \delta | \psi) = g \left( (\psi + \delta - \psi)^2 \right) = g(\delta^2) \\ \text{and} \quad\quad s(D - \delta | D) = g \left( (D - \delta - D)^2 \right) = g(\delta^2) \\ \text{so that} \quad\quad \forall \psi \; \forall \delta \; [s(\psi + \delta | \psi) = s(D - \delta | D)] \end{gather*}$ whereupon the second premise is satisfied. Both premises being true, the eight-point argument leads us to conclude that the probability that

θ

$\theta$ lies in the confidence interval

C_{D}

$C_D$ is

h

$h$ !

We therefore have an amusing irony:

The frequentist who assigns the $h$ confidence interval cannot say that $P(\theta \in C_D) = h$ , no matter how innocently uniform $\theta$ looks before incorporating the data.
The Bayesian who would not assign an $h$ confidence interval in that way knows anyhow that $P(\theta \in C_D | DI) = h$ .

Final Remarks

We have identified conditions (i.e. the two premises) under which the $h$ confidence region does indeed yield probability $h$ that $\theta \in C_D$ . A frequentist will baulk at the first premise, because it involves a prior on $\theta$ , and this sort of deal-breaker is inescapable on the route to a probability. But for a Bayesian, it is acceptable---nay, essential. These conditions are sufficient but not necessary, so there are many other circumstances under which the Bayesian $P(\theta \in C_D | DI)$ equals $h$ . Equally though, there are many circumstances in which $P(\theta \in C_D | DI) \ne h$ , especially when the prior information is significant.

We have applied a Bayesian analysis just as a consistent Bayesian would, given the information at hand, including statistics $D$ . But a Bayesian, if he possibly can, will apply his methods to the raw measurements instead---to the $\{x_i\}$ , rather than $\bar{x}$ . Oftentimes, collapsing the raw data into summary statistics $D$ destroys information in the data; and then the summary statistics are incapable of speaking as eloquently as the original data about the parameters $\theta$ .

— CarbonFlambe--Reinstate Monica
source

Would it be correct to say that a Bayesian is committed to take all the available information into account, while interpretation given in the question ignored D in some sense?

— qbolec

Is it a good mental picture to illustrate the situation: imagine a grayscale image, where intensity of pixel x,y is the joint ppb of real param being y and observed stat being x. In each row y, we mark pixels which have 95% mass of the row. For each observed stat x, we define CI(x) to be the set of rows which have marked pixels in column x. Now, if we choose x,y randomly then CI(x) will contain y iff x,y was marked, and mass of marked pixels is 95% for each y. So, frequentists say that keeping y fixed, chance is 95%, OP says, that not fixing y also gives 95%, and bayesians fix y and don't know

— qbolec

@qbolec It is correct to say that in the Bayesian method one cannot arbitrarily ignore some information while taking account of the rest. Frequentists say that for all

y

$y$ the expectation of

y \in C I (x)

$y \in \mathrm{CI}(x)$ (as a Boolean integer) under the sampling distribution

p r o b (x | y, I)

$\mathrm{prob}(x\, |\, y, I)$ is 0.95. The frequentist 0.95 is not a probability but an expectation.

— CarbonFlambe--Reinstate Monica

6

from a Bayesian probability perspective, why doesn't a 95% confidence interval contain the true parameter with 95% probability?

Two answers to this, the first being less helpful than the second

There are no confidence intervals in Bayesian statistics, so the question doesn't pertain.
In Bayesian statistics, there are however credible intervals, which play a similar role to confidence intervals. If you view priors and posteriors in Bayesian statistics as quantifying the reasonable belief that a parameter takes on certain values, then the answer to your question is yes, a 95% credible interval represents an interval within which a parameter is believed to lie with 95% probability.

If I have a process that I know produces a correct answer 95% of the time then the probability of the next answer being correct is 0.95 (given that I don't have any extra information regarding the process).

yes, the process guesses a right answer with 95% probability

Similarly if someone shows me a confidence interval that is created by a process that will contain the true parameter 95% of the time, should I not be right in saying that it contains the true parameter with 0.95 probability, given what I know?

Just the same as your process, the confidence interval guesses the correct answer with 95% probability. We're back in the world of classical statistics here: before you gather the data you can say there's a 95% probability of randomly gathered data determining the bounds of the confidence interval such that the mean is within the bounds.

With your process, after you've gotten your answer, you can't say based on whatever your guess was, that the true answer is the same as your guess with 95% probability. The guess is either right or wrong.

And just the same as your process, in the confidence interval case, after you've gotten the data and have an actual lower and upper bound, the mean is either within those bounds or it isn't, i.e. the chance of the mean being within those particular bounds is either 1 or 0. (Having skimmed the question you refer to it seems this is covered in much more detail there.)

How to interpret a confidence interval given to you if you subscribe to a Bayesian view of probability.

There are a couple of ways of looking at this

Technically, the confidence interval hasn't been produced using a prior and Bayes theorem, so if you had a prior belief about the parameter concerned, there would be no way you could interpret the confidence interval in the Bayesian framework.
Another widely used and respected interpretation of confidence intervals is that they provide a "plausible range" of values for the parameter (see, e.g., here). This de-emphasises the "repeated experiments" interpretation.

Moreover, under certain circumstances, notably when the prior is uninformative (doesn't tell you anything, e.g. flat), confidence intervals can produce exactly the same interval as a credible interval. In these circumstances, as a Bayesianist you could argue that had you taken the Bayesian route you would have gotten exactly the same results and you could interpret the confidence interval in the same way as a credible interval.

— TooTone
source

but for sure confidence intervals exist even if I subscribe to a bayesian view of probability, they just wont dissapear, right? :)The situation I was asking about was how to interpret a confidence interval given to you if you subscribe to a Bayesian view of probability.

— Rasmus Bååth

The problem is that confidence intervals aren't produced using a Bayesian methodology. You don't start with a prior. I'll edit the post to add something which might help.

— TooTone

2

I'll give you an extreme example where they are different.

Suppose I create my 95% confidence interval for a parameter $\theta$ as follows. Start by sampling the data. Then generate a random number between $0$ and $1$ . Call this number $u$ . If $u$ is less than $0.95$ then return the interval $(-\infty,\infty)$ . Otherwise return the "null" interval.

Now over continued repititions, 95% of the CIs will be "all numbers" and hence contain the true value. The other 5% contain no values, hence have zero coverage. Overall, this is a useless, but technically correct 95% CI.

The Bayesian credible interval will be either 100% or 0%. Not 95%.

— probabilityislogic
source

So is it correct to say that before seeing a confidence interval there is a 95% probability that it will contain the true parameter, but for any given confidence interval the probability that it covers the true parameter depends on the data (and our prior)? To be honest, what I'm really struggling with is how useless confidence intervals sounds (credible intervals I like on the other hand) and the fact that I never the less will have to teach them to our students next week... :/

— Rasmus Bååth

This question has some more examples, plus a very good paper comparing the two approaches