11

Disons que $Y$ est une variable aléatoire continue et $X$ est une variable discrète.

Pr (X = x | Y = y) = \frac{Pr (X = x) Pr (Y = y | X = x)}{Pr (Y = y)}

$\Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}$

Comme nous le savons, $\Pr(Y=y) = 0$ car $Y$ est une variable aléatoire continue. Et sur cette base, je suis tenté de conclure que la probabilité $\Pr(X=x|Y=y)$ n'est pas définie.

Cependant, Wikipedia affirme ici qu'il est en fait défini comme suit:

Pr (X = x | Y = y) = \frac{Pr (X = x) f_{Y | X = x} (y)}{f_{Y} (y)}

$\Pr(X=x|Y=y) = \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}$

Question: Avez-vous une idée de comment Wikipédia a réussi à définir cette probabilité?

Ma tentative

Voici ma tentative pour obtenir ce résultat Wikipedia en termes de limites:

\begin{aligned} Pr (X = x | Y = y) & = \frac{Pr (X = x) Pr (Y = y | X = x)}{Pr (Y = y)} \\ = lim_{d \to 0} \frac{Pr (X = x) (d \times f_{Y | X = x} (y))}{(d \times f_{Y} (y))} \\ = lim_{d \to 0} \frac{Pr (X = x) (d \times f_{Y | X = x} (y))}{(d \times f_{Y} (y))} \\ = \frac{Pr (X = x) f_{Y | X = x} (y)}{f_{Y} (y)} \end{aligned}

$\begin{split}\require{cancel} \Pr(X=x|Y=y) &= \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(d \times f_{Y|X=x}(y)\big)}{\big(d \times f_Y(y)\big)}\\ &= \lim_{d \rightarrow 0}\frac{\Pr(X=x) \big(\cancel{d} \times f_{Y|X=x}(y)\big)}{\big(\cancel{d} \times f_Y(y)\big)}\\ &= \frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}\\ \end{split}$

Maintenant, $\Pr(X=x|Y=y)$ semble être défini comme $\frac{\Pr(X=x) f_{Y|X=x}(y)}{f_Y(y)}$ , ce qui correspond cette revendication Wikipédia.

Est-ce ainsi que Wikipédia l'a fait?

Mais j'ai toujours l'impression d'abuser du calcul ici. Je pense donc que $\Pr(X=x|Y=y)$ n'est pas défini, mais dans la limite que nous nous rapprochons le plus possible pour définir $\Pr(Y=y)$ et $\Pr(Y=y|X=x)$ , mais pas visuellement, alors $\Pr(X=x|Y=y)$ est défini.

Mais je suis en grande partie incertain de beaucoup de choses, y compris le truc des limites que j'ai fait là-bas, j'ai l'impression que peut-être je ne comprends même pas complètement le sens de ce que j'ai fait.

conditional-probability pdf

— Homme des cavernes
source

1

En effet, Pr (X = x) = 0 mais la densité de X dans xf (x) peut ne pas être égale à 0. Ne devriez-vous pas utiliser une étiquette «auto-étude» ??

— Lil'Lobster

2

@Lil Pour autant que je sache, la balise «d'auto-apprentissage» sert à résoudre les devoirs. Je ne fais pas ça.

— homme des cavernes

1

La page Wikipedia fait référence à la dérivation: en.wikipedia.org/wiki/Bayes'_theorem#Derivation

— Ytsen de Boer

3

Je crains que votre dérivation n'ait aucune justification mathématique comme pour tout lorsque est continu.

P (Y = y) = 0

$\mathbb{P}(Y=y)=0$

y \in Y

$y\in\mathcal{Y}$

Y

$Y$

— Xi'an

10

La distribution de probabilité conditionnelle , , , est formellement définie comme une solution de l'équation où désigne le -algèbre associée à la distribution de . L'une de ces solutions est fournie par la formule de Bayes (1763) comme indiqué dans Wikipedia : $\mathbb{P}(X=x|Y=y)$ $x\in\mathcal{X}$ $y\in\mathcal{Y}$

P (X = x, Y \in A) = \int_{A} P (X = x | Y = y) f_{Y} (y) d y \forall A \in σ (Y)

$\mathbb{P}(X=x,Y\in A)=\int_{A}\mathbb{P}(X=x|Y=y)f_Y(y)\text{d}y\quad\forall A\in\sigma(\mathcal{Y})$

σ (Y)

$\sigma(\mathcal{Y})$

σ

$\sigma$

Y

$Y$

P (X = x | Y = y) = \frac{P (X = x) f_{Y | X = x} (y)}{f_{Y} (y)} \forall x \in X, y \in Y

$\mathbb{P}(X=x|Y=y) = \dfrac{\mathbb{P}(X=x) f_{Y|X=x}(y)}{f_Y(y)}\qquad\forall x\in\mathcal{X},\ y\in\mathcal{Y}$ bien que les versions définies arbitrairement sur un ensemble de mesures nulles dans soient également valides.

σ (Y)

$\sigma(\mathcal{Y})$

Le concept de probabilité conditionnelle par rapport à une hypothèse isolée dont la probabilité est égale à 0 est inadmissible. Car nous ne pouvons obtenir une distribution de probabilité pour [la latitude] sur le cercle méridien que si nous considérons ce cercle comme un élément de la décomposition de toute la surface sphérique en cercles méridiens avec les pôles donnés - Andrei Kolmogorov

Comme le montre le paradoxe de Borel-Kolmogorov , étant donné une valeur spécifique potentiellement prise , la distribution de probabilité conditionnelle n'a pas de signification précise, pas seulement parce que l'événement est de mesure zéro, mais aussi parce que cet événement peut être interprété comme mesurable par rapport à une plage infinie d' algèbres . $y_0$ $Y$ $\mathbb{P}(X=x|Y=y_0)$ $\{\omega;\,Y(\omega)=y_0\}$ $\sigma$

Remarque: Voici une introduction encore plus formelle, tirée d'un examen de la théorie des probabilités sur le blog de Terry Tao :

Définition 9 (Disintegration) Soit une variable aléatoire avec une plage . Une désintégration de l'espace d'échantillonnage sous-jacent par rapport à est un sous-ensemble de de pleine mesure dans (donc presque sûrement), avec attribution d'une mesure de probabilité sur le sous-espace of pour chaque , qui est mesurable en ce sens que la carte $Y$ $R$ $(R', (\mu_y)_{y \in R'})$ $\Omega$ $Y$ $R'$ $R$ $\mu_Y$ $Y \in R'$ ${\bf P}(|Y=y)$ $\Omega_y := \{ \omega \in \Omega: Y(\omega)=y\}$ $\Omega$ $y \in R$ $y \mapsto {\bf P}(F|Y=y)$ est mesurable pour chaque événement , et tel que pour tous ces événements, où est la variable aléatoire (presque sûrement définie) définie pour être égale à chaque fois que . $F$
$P (F) = E P (F | Y)$ $\displaystyle {\bf P}(F) = {\bf E} {\bf P}(F|Y)$ ${\bf P}(F|Y)$ ${\bf P}(F|Y=y)$ $Y=y$
Étant donné une telle désintégration, nous pouvons ensuite conditionner à l'événement pour tout en remplaçant par le sous-espace (avec l' algèbre induite ), mais en remplaçant la mesure de probabilité sous-jacente avec . On peut ainsi conditionner des événements (inconditionnels) et des variables aléatoires à cet événement pour créer des événements conditionnés et des variables aléatoires sur l'espace conditionné, donnant lieu à des probabilités conditionnelles $Y=y$ $y \in R'$ $\Omega$ $\Omega_y$ $\sigma$ ${\bf P}$ ${\bf P}(|Y=y)$ $F$ $X$ $(F|Y=y)$ $(X|Y=y)$ ${\bf P}(F|Y=y)$ (qui est cohérent avec la notation existante pour cette expression) et les attentes conditionnelles (en supposant une intégrabilité absolue dans cet espace conditionné). Nous définissons ensuite pour être la variable aléatoire (presque sûrement définie) définie pour être égale à chaque fois que . ${\bf E}(X|Y=y)$ ${\bf E}(X|Y)$ ${\bf E}(X|Y=y)$ $Y=y$

— Xi'an
source

1

Déjà +1, mais ... peut-être que c'est taquin, mais ne serait-il pas plus précis de se référer au théorème de Bayes comme une formule de Bayes / Laplace ..?

— Tim

2

@Tim: merci, mais je ne veux pas paraître trop chauvin! Et c'est un fait que la formule de Bayes pour discret (binomial) et continu (bêta) apparaît dans l'article de Bayes (1763). Bien sûr, Laplace a fixé le résultat dans une généralité beaucoup plus large.

X

$X$

Y

$Y$

— Xi'an

4

Je vais vous donner un aperçu de la façon dont les pièces peuvent s'emboîter lorsque est continu et est discret. $Y$ $X$

La densité mixte mixte:

f_{X Y} (x, y)

$f_{XY}(x,y)$

Densité et probabilité marginales:

f_{Y} (y) = \sum_{x \in X} f_{X Y} (x, y)

$f_Y(y) = \sum_{x \in X} f_{XY}(x, y)$

P (X = x) = \int f_{X Y} (x, y) d y

$P(X = x) = \int f_{XY}(x, y) \;dy$

Densité et probabilité conditionnelles:

f_{Y ∣ X} (y ∣ X = x) = \frac{f_{X Y} (x, y)}{P (X = x)}

$f_{Y\mid X}(y \mid X = x) = \frac{f_{XY}(x, y)}{P(X=x)}$

P (X = x ∣ Y = y) = \frac{f_{X Y} (x, y)}{f_{Y} (y)}

$P(X=x \mid Y = y) = \frac{f_{XY}(x, y)}{f_Y(y)}$

Règle de Bayes:

f_{Y ∣ X} (y ∣ X = x) = \frac{P (X = x ∣ Y = y) f_{Y} (y)}{P (X = x)}

$f_{Y\mid X}(y \mid X = x) = \frac{P(X=x \mid Y = y) f_Y(y)}{P(X=x)}$

P (X = x ∣ Y = y) = \frac{f_{Y ∣ X} (y ∣ X = x) P (X = x)}{f_{Y} (y)}

$P(X=x \mid Y = y) = \frac{f_{Y\mid X}(y \mid X = x)P(X=x)}{f_Y(y)}$

Bien sûr, la façon moderne et rigoureuse de gérer la probabilité passe par la théorie des mesures. Pour une définition précise, voir la réponse de Xi'an.

— Matthew Gunn
source

2

Notez que l'article Wikipedia utilise en fait la définition suivante: Autrement dit, il traite le résultat comme une densité et non comme une probabilité telle que vous l'avez. Je dirais donc que vous avez raison: n'est pas défini lorsque est continu et discret, c'est pourquoi nous considérons plutôt uniquement les densités de probabilité sur dans ce cas.

f_{X} (x | Y = y) = \frac{P (Y = y | X = x) f_{X} (x)}{p (Y = y)}

$f_X(x|Y=y) = \frac{P(Y=y|X=x)f_X(x)}{p(Y=y)}$

P (X = x | Y = y)

$P(X=x|Y=y)$

X

$X$

Y

$Y$

X

$X$

Edit: En raison d'une confusion sur la notation (voir les commentaires), ce qui précède se réfère en fait à la situation opposée à ce que l'homme des cavernes demandait.

— Ruben van Bergen
source

Comment défini lorsque

Ma tentative