Pourquoi la convolution fonctionne-t-elle?

Je sais donc que si nous voulons trouver la distribution de probabilité d'une somme de variables aléatoires indépendantes , nous pouvons la calculer à partir des distributions de probabilité de et , en disant $X + Y$ $X$ $Y$

f_{X + Y} (a) = \int_{x = - \infty}^{\infty} f_{X, Y} (X = x, Y = a - x) d x = \int_{x = - \infty}^{\infty} f_{X} (x) f_{Y} (a - x) d x

$f_{X + Y}(a) = \int_{x = -\infty}^{\infty} f_{X, Y}(X = x, Y = a - x)~dx = \int_{x = -\infty}^{\infty} f_X(x) f_Y(a - x)~dx$

Intuitivement, cela a du sens, car si nous voulons trouver la probabilité que deux variables aléatoires additionnent à , c'est essentiellement la somme des probabilités de tous les événements qui conduisent à ces variables sommant à . Mais comment puis-je prouver officiellement cette déclaration? $a$ $a$

probability

— Jessica
source

Question légèrement différente, mais la réponse est similaire .

— Carl

Réponses:

La solution plus générale considère où et ne sont pas nécessairement indépendants. Une stratégie de solution courante pour les problèmes où vous vous demandez d'où vient un PDF ou comment le justifier est de trouver un cumulatif à la place, puis de le différencier pour réduire le CDF en PDF. $Z = X + Y$ $X$ $Y$

Il est assez facile de voir que dans ce cas où est la région du plan - pour laquelle . $F_Z(z) = \mathrm{P}(Z \leq z) = \int \int_R f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y$ $R$ $x$ $y$ $x + y \leq z$

Il s'agit de la région hachurée en bleu dans le diagramme ci-dessous. Il est naturel de s'intégrer sur cette région en la décomposant en bandes - je l'ai fait avec des bandes verticales mais horizontales feront l'affaire. En fait, je me retrouve avec une bande pour chaque coordonnée , allant de à , et le long de chaque bande, je veux que les valeurs ne dépassent pas la ligne , donc . $x$ $-\infty$ $\infty$ $y$ $x + y = z$ $y \leq z - x$

z <x + y

Maintenant que nous avons obtenu des limites d'intégration en termes de et , nous pouvons faire une substitution , comme suit, dans le but de faire apparaître comme la limite supérieure de . Les mathématiques sont simples tant que vous comprenez l' utilisation du jacobien pour changer les variables. $x$ $y$ $u=x$ $v=x+y$ $z$ $v$

F_{Z} (z) = \int_{x = - \infty}^{x = \infty} \int_{y = - \infty}^{y = z - x} f_{X, Y} (x, y) d x d y = \int_{v = - \infty}^{v = z} \int_{u = - \infty}^{y = \infty} f_{X, Y} (u, v - u) d u d v

$F_Z(z) = \int_{x = -\infty}^{x=\infty}\int_{y=-\infty}^{y=z-x}f_{X,Y}(x,y)\,\mathrm{d}x\,\mathrm{d}y = \int_{v = -\infty}^{v=z}\int_{u=-\infty}^{y=\infty}f_{X,Y}(u,v-u)\,\mathrm{d}u\,\mathrm{d}v$

Tant que certaines conditions sont remplies, on peut différencier sous le signe intégral par rapport à pour obtenir: $z$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X, Y} (u, z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_{X,Y}(u, z-u)\,\mathrm{d}u$

Cela fonctionne même si et ne sont pas indépendants. Mais s'ils le sont, nous pouvons réécrire la densité conjointe comme le produit des deux marginaux: $X$ $Y$

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X} (u) f_{Y} (z - u) d u

$f_Z(z) = \int_{-\infty}^{\infty}f_X(u)f_Y(z-u)\,\mathrm{d}u$

La variable fictive peut sans danger être écrite comme si vous le souhaitez. $u$ $x$

Ma notation pour les intégrales suit exactement la section 6.4 de Geoffrey Grimmett et Dominic Walsh, Probability: An Introduction , Oxford University Press, New York, 2000.

— Silverfish
source

+1 En termes de notation, la convention est que le différentiel à l'extérieur de l'intégrale multiple s'applique à l'intégrale externe; ainsi, dans une expression de la forme l'intégration par rapport à se fait en premier - c'est l'intégrale intérieure - et celle par rapport à est fait en dernier - c'est l'intégrale externe. Cela nous laisse libre de placer des parenthèses sans changer la signification, comme dans .

\iint \dots d x d y

$\iint \cdots \mathrm{d}x\,\mathrm{d} y$

x

$x$

y

$y$

\int (\int \dots d x) d y

$\int\left(\int \cdots \mathrm{d}x\right)\mathrm{d}y$

— whuber

@whuber, en y réfléchissant, c'est certainement la convention qui est appliquée dans à peu près tous les manuels que je connais (donc l'intégration multiple est effectivement des intégrales imbriquées). Mais en feuilletant, Grimmett et Welsh "Probability: An Introduction" sont absolument cohérents avec leur propre convention du même ordre gauche-droite pour les limites et les différentiels, par exemple, ils donnent !

\int_{u} \int_{v} \int_{w} . . . d u d v d w

$\int_u \int_v \int_w ... du\,dv\,dw$

— Silverfish

Je suis constamment amusé par la façon dont, à l'intersection de nombreux domaines, nous sommes exposés à des conventions contradictoires. C'est l'une des joies de travailler avec des personnes d'horizons différents.

— whuber

@whuber Je suis conscient que les conventions pour définir les intégrales varient considérablement entre les pays - vous apprécierez cela de Tex SE tex.stackexchange.com/a/88961/25866 et je souhaite qu'il soit étendu pour couvrir plusieurs intégrations!

— Silverfish

L'énoncé est vrai si et seulement si le côté droit agit comme une densité pour ; C'est, $X+Y$

F_{X + Y} (a) = P (X + Y \leq a) = \int_{- \infty}^{a} f_{X + Y} (z) d z = \int_{- \infty}^{a} (\int f_{X} (x) f_{Y} (z - x) d x) d z

$F_{X+Y}(a)=\mathbb{P}(X+Y\le a) = \int_{-\infty}^a f_{X+Y}(z)\,\mathrm{d}z = \int_{-\infty}^a \left(\int f_X(x) f_Y(z-x)\,\mathrm{d}x\right)\mathrm{d}z$

pour tous . Vérifions cela en commençant par le côté droit. $a$

Appliquez le théorème de Fubini pour changer l'ordre d'intégration et effectuez la substitution . Le déterminant de son jacobien est , donc aucun terme supplémentaire n'est introduit par ce changement de variables. Notez que parce que et sont en correspondance un à un et si et seulement si , nous pouvons réécrire l'intégrale comme $z = x+y$ $1$ $z$ $y$ $-\infty \lt z \le a$ $-\infty \lt y \lt a-x$

= \int (\int_{- \infty}^{a - x} f_{X} (x) f_{Y} (y) d y) d x .

$=\int \left(\int_{-\infty}^{a-x}f_X(x)f_Y(y)\,\mathrm{d} y\right)\mathrm{d}x.$

Par définition, c'est l'intégrale sur de $\mathbb{R}^2$

= \iint I (x + y \leq a) f_{X} (x) f_{Y} (y) d y d x

$=\iint I(x+y\le a)f_X(x)f_Y(y)\,\mathrm{d}y\,\mathrm{d}x$

où est la fonction d'indicateur d'un ensemble. Enfin, puisque et sont indépendants, pour tous , révélant l'intégrale comme étant simplement l'attente $I$ $X$ $Y$ $f_{(X,Y)}(x,y) = f_X(x)f_Y(y)$ $(x,y)$

= \iint I (x + y \leq a) f_{(X, Y)} (x, y) d y d x = E (I (X + Y \leq a)) = P (X + Y \leq a),

$=\iint I(x+y\le a)f_{(X,Y)}(x,y)\,\mathrm{d}y\,\mathrm{d}x = \mathbb{E}(I(X+Y\le a))=\mathbb{P}(X+Y\le a),$

comme voulu.

Plus généralement, même lorsque l'un ou les deux de ou n'ont pas de fonction de distribution, on peut toujours obtenir $X$ $Y$

F_{X + Y} (a) = E_{X} (F_{Y} (a - X)) = E_{Y} (F_{X} (a - Y))

$F_{X+Y}(a) = \mathbb{E}_X\left(F_Y(a-X)\right) = \mathbb{E}_Y\left(F_X(a-Y)\right)$

directement à partir des définitions de base, en utilisant l'attente des indicateurs pour faire des allers-retours entre les probabilités et les attentes et en exploitant l'hypothèse d'indépendance pour diviser le calcul en attentes distinctes par rapport à et : $X$ $Y$

\begin{aligned} P (X + Y \leq a) & = E (I (X + Y \leq a)) \\ = E_{X} (E_{Y} (I (X + Y \leq a)) \\ = E_{X} (P_{Y} (Y \leq a - X)) \\ = E_{X} (F_{Y} (a - X)) . \end{aligned}

$\eqalign{ \mathbb{P}(X+Y\le a) &= \mathbb{E}(I(X+Y\le a)) \\ &= \mathbb{E}_X\left(\mathbb{E}_Y(I(X+Y\le a)\right) \\ &= \mathbb{E}_X\left(\mathbb{P}_Y(Y\le a-X)\right) \\ &=\mathbb{E}_X(F_Y(a-X)). }$

Cela inclut les formules habituelles pour les variables aléatoires discrètes, par exemple, bien que sous une forme légèrement différente de celle habituelle (car elle est indiquée en termes de CDF plutôt que de fonctions de masse de probabilité).

Si vous avez un théorème assez fort sur l'échange de dérivés et d'intégrales, vous pouvez différencier les deux côtés par rapport à pour obtenir la densité en un seul coup, $a$ $f_{X+Y}$

\begin{aligned} f_{X + Y} (a) & = \frac{d}{d a} F_{X + Y} (a) = E_{X} (\frac{d}{d a} F_{Y} (a - X)) = E_{X} (f_{Y} (a - X)) \\ = \int f_{X} (x) f_{Y} (a - x) d x . \end{aligned}

$\eqalign{ f_{X+Y}(a) &= \frac{\mathrm{d}}{\mathrm{d}a} F_{X+Y}(a) =\mathbb{E}_X\left(\frac{\mathrm{d}}{\mathrm{d}a} F_Y(a-X)\right) = \mathbb{E}_X \left(f_Y(a-X)\right) \\ &= \int f_X(x) f_Y(a-x) \,\mathrm{d} x. }$

— whuber
source