Est-il possible d'avoir une paire de variables aléatoires gaussiennes pour lesquelles la distribution conjointe n'est pas gaussienne?

Quelqu'un m'a posé cette question lors d'un entretien d'embauche et j'ai répondu que leur distribution commune est toujours gaussienne. Je pensais que je pouvais toujours écrire une gaussienne à deux variables avec leurs moyennes, leur variance et leurs covariances. Je me demande s’il peut exister un cas pour lequel la probabilité commune de deux gaussiennes ne soit pas gaussienne?

— MarkSAlen
source

Un autre exemple de Wikipedia . Bien sûr, si les variables sont indépendantes et légèrement gaussiennes, elles sont conjointement gaussiennes.

Un exemple ici wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— Stéphane Laurent le

Réponses:

138

La distribution normale à deux variables est l' exception et non la règle!

Il est important de reconnaître que "presque toutes" les distributions jointes avec des marges normales ne sont pas la distribution normale bivariée. C'est-à-dire que le point de vue général selon lequel les distributions jointes avec des marges normales qui ne sont pas la normale bivariée sont en quelque sorte "pathologiques", est un peu erroné.

Certes, la normale multivariée est extrêmement importante en raison de sa stabilité lors de transformations linéaires, et fait donc l'objet de toutes les attentions dans les applications.

Exemples

Il est utile de commencer par quelques exemples. La figure ci-dessous contient des cartes thermiques de six distributions à deux variables, qui ont toutes des marges normales normales. Les valeurs de gauche et du milieu dans la rangée supérieure sont des normales à deux variables, les autres ne le sont pas (comme cela devrait être évident). Ils sont décrits plus en détail ci-dessous.

Exemples de distribution bivariée avec des marges normales normales.

Les os nus des copules

Les propriétés de dépendance sont souvent efficacement analysées à l'aide de copules . Une copule bivariée est juste un nom de fantaisie pour une distribution de probabilité sur le carré unité avec des marginales uniformes . $[0,1]^2$

Supposons que est une copule bivariée. Ensuite, immédiatement à partir de ce qui précède, nous savons que , et , par exemple. $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

Nous pouvons construire des variables aléatoires bivariées sur le plan euclidien avec des marginales prédéfinies par une simple transformation d'une copule bivariée. Soit et des distributions marginales prescrites pour une paire de variables aléatoires . Alors, si est une copule à deux variables, $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (X, y) = C (F_{1} (X), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$ est une fonction de distribution bivariée avec les marginales

. Pour voir ce dernier fait, il suffit de noter que

F_{1}

$F_1$

F_{2}

$F_2$

Le même argument fonctionne pour

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$ .

Pour et continus , le théorème de Sklar affirme une réciproque impliquant l'unicité. En d’autres termes, étant donné une distribution bivariée avec des marges continues , , la copule correspondante est unique (sur l’espace de plage approprié). $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

La normale bivariée est exceptionnelle

Le théorème de Sklar nous dit (essentiellement) qu'il n'y a qu'une seule copule qui produit la distribution normale bivariée. Ceci est, bien son nom, la copule gaussienne qui a une densité sur $[0,1]^2$ Où le numérateur est la distribution normale bidimensionnelle avec corrélation évaluée à et .

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

Cependant, il existe de nombreuses autres copules et chacune d'entre elles donnera une distribution à deux variables avec des marges normales qui ne correspond pas à la normale à deux variables en utilisant la transformation décrite dans la section précédente.

Quelques détails sur les exemples

Notez que si est am arbitraire copule avec une densité , la densité bidimensionnelle correspondant aux marginaux standards normaux en vertu de la transformation est $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (X), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

Notez qu'en appliquant la copule gaussienne dans l'équation ci-dessus, nous récupérons la densité normale à deux variables. Mais, pour tout autre choix de $c(u,v)$ , nous ne le ferons pas.

Les exemples de la figure ont été construits comme suit (en parcourant chaque ligne, une colonne à la fois):

Bivarié normal avec composants indépendants.
Normal bivarié avec $\rho = -0.4$ .
L' exemple donné dans cette réponse de Dilip Sarwate . On peut voir facilement être induite par la copule avec une densité $C(u,v)$ . $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
Généré à partir de la copule de Frank avec le paramètre . $\theta = 2$
Généré à partir de la copule de Clayton avec le paramètre $\theta = 1$ .
Généré à partir d'une modification asymétrique de la copule de Clayton avec le paramètre . $\theta = 3$

— cardinal
source

+1 pour la remarque que la densité normale bivariée est le cas exceptionnel!

— Dilip Sarwate

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$ nous avons commencé avec, non?

— RandomGuy

Exemple de simulation comme dans le panneau inférieur droit: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— demi-passage du

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

Il est vrai que chaque élément d’un vecteur normal multivarié est lui-même normalement distribué, et vous pouvez en déduire leurs moyennes et leurs variances. Cependant, il n’est pas vrai que deux variables aléatoires guassiennes soient conjointement distribuées normalement. Voici un exemple:

$\sigma^2=0$

$X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

$Y$

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

Prochain,

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

$\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

Donc,

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

$Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

$X,Y$ $X,Y$

Y + X = {\begin{cases} 2 X & si B = 1 \\ 0 & si B = 0 \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

$Y+X$ $50/50$ $N(0,4)$

— Macro
source

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

@DilipSarwate, la question était de donner un exemple (s'il en existait une) de deux variables qui sont normalement distribuées mais leur distribution conjointe n'est pas normale à plusieurs variables. Ceci est un exemple. La plupart des définitions standard de la distribution normale (par exemple wikipedia en.wikipedia.org/wiki/Normal_distribution ) exigent la variance du donc strictement positif, sans compter une masse ponctuelle dans le cadre de la famille des distributions normales.

— Macro

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

La discussion porte sur les définitions. Clairement, si la matrice de covariance par définition doit être non singulière, Macro fournit un exemple, mais il ne s'agit pas d'un exemple conforme à la définition plus libérale à laquelle @ cardinal fait également référence. Une bonne raison de préférer la définition plus libérale est que toutes les transformations linéaires de variables normales sont normales. En particulier, dans la régression linéaire avec erreurs normales, les résidus ont une distribution normale conjointe mais la matrice de covariance est singulière.

— NRH

Le post suivant contient un aperçu d'une preuve, juste pour donner les idées principales et vous aider à démarrer.

$z = (Z_1, Z_2)$ $x = (X_1, X_2)$

X = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = UNE z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

$X_i \sim N(\mu_i, \sigma_i^2)$

$x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

$x = (X_1, X_2)$

Preuve . Trivial, ignoré pour ne pas offenser personne.

$X_1, X_2$

$X_1 | X_2$

$X_1, X_2$ soient les mêmes r.v gaussiens qu’auparavant, mais supposons qu’ils ont une variance positive et une moyenne nulle pour simplifier.

$\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

X_{1} | X_{2} ~ N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

$X, Y$ $X | Y$ $Y|X$

— auxiliaire
source

On ne voit pas comment cette observation répond à la question. Comme la règle de produit correspond pratiquement à la définition de la distribution conditionnelle, elle n’est pas particulière aux distributions binormales. L'instruction suivante "then in order ..." ne fournit aucune raison: pourquoi exactement les distributions conditionnelles doivent-elles aussi être normales?

— whuber

whuber, je réponds à la question principale: "Je me demande s’il peut exister un cas pour lequel la probabilité commune de deux Gaussiens ne soit pas gaussienne?". Donc, la réponse est: quand le conditionnel n'est pas normal. - Ancillary

— ancillary

Pourriez-vous compléter cette démonstration? Pour l'instant, ce n'est qu'une affirmation de votre part, sans preuve. Ce n'est pas du tout évident que c'est correct. Elle est également incomplète, car vous devez établir l’existence: c’est-à-dire que vous devez démontrer qu’il est effectivement possible qu’une distribution jointe ait des marges normales, mais pour laquelle au moins une condition est non normale. En réalité, c’est trivialement vrai, car vous pouvez librement modifier chaque distribution conditionnelle d’un binormal sur un ensemble de mesure zéro sans modifier ses marginales - mais cette possibilité semblerait contredire vos affirmations.

— whuber

Bonjour @ Whuber, j'espère que cela aidera davantage. Avez-vous des suggestions ou des modifications à faire? J'ai écrit ceci très rapidement car pour le moment je n'ai pas beaucoup de temps libre :-) mais j'apprécierais toutes les suggestions ou améliorations que vous pourriez apporter. Best

— auxiliaire

(1) Qu'est-ce que vous essayez de prouver? (2) Comme la question qui se pose est de savoir quand une distribution avec des marges gaussiennes n'est pas conjointement gaussienne, je ne vois pas en quoi cet argument mène à quelque chose de pertinent.

— whuber