Quelle est l'intuition derrière les distributions gaussiennes conditionnelles?

Supposons que $\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$ . Alors la distribution conditionnelle de $X_1$ étant donné que $X_2 = x_2$ est multivariée, normalement distribuée, avec la moyenne:

E [P (X_{1} | X_{2} = x_{2})] = μ_{1} + \frac{σ_{12}}{σ_{22}} (x_{2} - μ_{2})

$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$

et de variance:

V a r [P (X_{1} | X_{2} = x_{2})] = σ_{11} - \frac{σ_{12}^{2}}{σ_{22}}

${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$

Il est logique que la variance diminue car nous avons plus d'informations. Mais quelle est l'intuition derrière la formule moyenne? Comment la covariance entre $X_1$ et $X_2$ facteur dans le conditionnel signifie?

normal-distribution multivariate-analysis intuition

— eroeijr
source

Votre question est-elle simplement "pourquoi la moyenne de la distribution conditionnelle n'est-elle pas =

μ_{1}

$\mu_1$ "?

— Gay - Rétablir Monica

@gung: Ceci est vrai si

x_{2} = μ_{2}

$x_2 = \mu_2$ . Mais pourquoi

σ_{11}

$\sigma_{11}$ et

σ_{22}

$\sigma_{22}$ impliqués?

— eroeijr

En unités naturelles ("normalisées"), nous écrivons

où

X_{i} = μ_{1} + σ_{i} Z_{i}

$X_i=\mu_1+\sigma_iZ_i$

. En ces termes, la distribution conditionnelle est normale avec

Le fait que

est appelé "retour à la moyenne" ou"régression à la moyenne": il existe une littérature technique et populaire abondante sur ce sujet depuis 130 ans.

σ_{i} = \sqrt{σ_{i i}}

$\sigma_i=\sqrt{\sigma_{ii}}$

E (Z_{1} | Z_{2}) = ρ Z_{2}

$\mathbb{E}(Z_1|Z_2)=\rho Z_2$

ρ = σ_{12} / (σ_{1} σ_{2}) .

$\rho=\sigma_{12}/(\sigma_1\sigma_2).$

| ρ | \leq 1

$|\rho|\le 1$

— whuber

Dis, eroeijr, est- ce que ce post est le vôtre? (En plus de l'invité au début, les noms sont très similaires.) Si c'est le vôtre, vous devriez demander à fusionner les deux comptes et gagner le gros bonus que vous auriez.

— Glen_b

Comme @Glen_b l'a suggéré, si vous avez plusieurs comptes (non enregistrés), veuillez compléter le formulaire à l' adresse stats.stackexchange.com/contact et demander qu'ils soient fusionnés.

— chl

Synopsis

Chaque affirmation de la question peut être comprise comme une propriété des ellipses. La seule propriété nécessaire à la distribution normale bivariée requise est le fait que, dans une distribution normale standard bivariée de - pour laquelle et sont pas corrélés - la variance conditionnelle de ne dépend pas de $X,Y$ $X$ $Y$ $Y$ $X$ . (Ceci est une conséquence immédiate du fait que l'absence de corrélation implique l'indépendance des variables conjointement normales.)

L'analyse suivante montre précisément quelle propriété des ellipses est impliquée et dérive toutes les équations de la question à l'aide d'idées élémentaires et de l'arithmétique la plus simple possible, de manière à pouvoir être facilement mémorisées.

Distributions circulaires symétriques

La distribution de la question appartient à la famille des distributions normales à deux variables. Elles sont toutes dérivées d'un membre de base, la norme bivariée standard , qui décrit deux distributions de la norme standard non corrélées (formant ses deux coordonnées).

Figure 1: la distribution normale bivariée standard

Le côté gauche est un graphique en relief de la densité normale bivariée standard. Le côté droit montre la même chose en pseudo-3D, avec la partie avant découpée.

Voici un exemple de distribution symétrique circulaire : la densité varie avec la distance depuis un point central mais pas avec la direction l’éloignant de ce point. Ainsi, les contours de son graphique (à droite) sont des cercles.

La plupart des autres distributions normales à deux variables ne sont toutefois pas symétriques de façon circulaire: leurs sections efficaces sont des ellipses. Ces ellipses modélisent la forme caractéristique de nombreux nuages de points bivariés.

Figure 2: une autre distribution normale bivariée, tracée

Ce sont des portraits de la distribution normale bivariée avec la matrice de covariance Il est un modèle de données aveccoefficient de corrélation. $\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$ $-2/3$

Comment créer des ellipses

Selon sa plus ancienne définition, une ellipse est une section conique, qui est un cercle déformé par une projection sur un autre plan. En considérant la nature de la projection, comme le font les artistes visuels, nous pouvons la décomposer en une suite de distorsions faciles à comprendre et à calculer.

Tout d’abord, étirez (ou si nécessaire, comprimez) le cercle le long de ce qui deviendra le grand axe de l’ellipse jusqu’à ce que sa longueur soit correcte:

Étape 1: étirer

Ensuite, pressez (ou étirez) cette ellipse le long de son axe mineur:

Étape 2: presser

Troisièmement, faites-le pivoter autour de son centre dans son orientation finale:

Étape 3: faire pivoter

Enfin, déplacez-le à l'emplacement souhaité:

Étape 4: décalage

Ce sont toutes des transformations affines. (En fait, les trois premières sont des transformations linéaires ; le décalage final le rend affine.) Comme une composition de transformations affines est (par définition) toujours affine, la distorsion nette du cercle à l'ellipse finale est une transformation affine. Mais cela peut être un peu compliqué:

Transformation composite

Remarquez ce qui est arrivé aux axes (naturels) de l'ellipse: après avoir été créés par le décalage et la compression, ils ont (bien sûr) pivoté et décalé le long de l'axe lui-même. Nous voyons facilement ces axes même lorsqu'ils ne sont pas dessinés, car ce sont des axes de symétrie de l'ellipse elle-même.

Nous aimerions appliquer notre compréhension des ellipses à la compréhension de distributions distordues de symétrie circulaire, comme la famille normale à deux variables. Malheureusement, ces distorsions posent un problème : elles ne respectent pas la distinction entre les axes et . La rotation à l'étape 3 ruine cela. Regardez les faibles grilles de coordonnées dans les arrière - plans: ceux - ci montrent ce qui arrive à une grille (de maille $x$ $y$ $1/2$ dans les deux sens) quand il est déformé. Dans la première image, l'espacement entre les lignes verticales d'origine (en trait plein) est doublé. Dans la deuxième image, l'espacement entre les lignes horizontales d'origine (en pointillé) est réduit d'un tiers. Dans la troisième image, les espacements de la grille ne sont pas modifiés mais toutes les lignes sont pivotées. Ils se déplacent vers le haut et à droite dans la quatrième image. L'image finale, montrant le résultat net, affiche cette grille étirée, comprimée, tournée et décalée. Les lignes continues d'origine de coordonnée constante ne sont plus verticales. $x$

L'idée principale - on pourrait dire que c'est le noeud de la régression - est qu'il existe une manière de déformer le cercle en une ellipse sans faire pivoter les lignes verticales . Parce que la rotation en était la cause, allons droit au but et montrons comment créer une ellipse en rotation sans faire semblant de faire pivoter quoi que ce soit !

Ellipse en biais

C'est une transformation asymétrique. Il fait en réalité deux choses à la fois:

Il se serre dans la direction (d'un montant , disons). Cela laisse l’ axe seul. $y$ $\lambda$ $x$
Il soulève tout point résultant d'un montant directement proportionnel à . En écrivant cette constante de proportionnalité sous forme de , ceci envoie à . $(x,y)$ $x$ $\rho$ $(x,y)$ $(x, y+\rho x)$

La deuxième étape soulève l’ axe dans la ligne , illustrée à la figure précédente. Comme le montre cette figure, je souhaite travailler avec une transformation oblique spéciale, qui effectue une rotation efficace de l'ellipse de 45 degrés et l'inscrit dans le carré de l'unité. Le grand axe de cette ellipse est la droite . Il est visuellement évident que . (Les valeurs négatives de inclinent l'ellipse vers la droite plutôt que vers le haut.) Ceci est l'explication géométrique de "régression à la moyenne". $x$ $y=\rho x$ $y=x$ $|\rho| \le 1$ $\rho$

Le choix d'un angle de 45 degrés rend l'ellipse symétrique autour de la diagonale du carré (partie de la ligne ). Pour comprendre les paramètres de cette transformation oblique, observez: $y=x$

L'élévation de déplace le point vers . $\rho x$ $(1,0)$ $(1,\rho)$
La symétrie autour de la diagonale principale implique alors que le point se trouve également sur l'ellipse. $(\rho, 1)$

Où ce point a-t-il commencé?

Le point original (supérieur) du cercle unitaire (équation implicite ) avec la coordonnée était $x^2+y^2=1$ $x$ $\rho$ . $(\rho, \sqrt{1-\rho^2})$
Tout point de la forme abord été compressé en puis élevé à . $(\rho, y)$ $(\rho, \lambda y)$ $(\rho, \lambda y + \rho\times\rho)$

La solution unique à l’équation est $(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$ . C'est la quantité par laquelle toutes les distances dans la direction verticale doivent être comprimées afin de créer une ellipse à un angle de 45 degrés lorsqu'elle est inclinée verticalement de. $\lambda = \sqrt{1-\rho^2}$ $\rho$

Pour affermir ces idées, voici un tableau montrant comment une distribution de symétrie circulaire est déformée en distributions à contours elliptiques au moyen de ces transformations asymétriques. Les panneaux présentent des valeurs de sont égaux à et de gauche à droite. $\rho$ $0,$ $3/10,$ $6/10,$ $9/10,$

Tableau

La figure la plus à gauche montre un ensemble de points de départ autour de l'un des contours circulaires ainsi qu'une partie de l'axe horizontal. Les figures suivantes utilisent des flèches pour montrer comment ces points sont déplacés. L'image de l'axe horizontal apparaît sous la forme d'un segment de ligne incliné (avec une pente ). (Les couleurs représentent différentes quantités de densité dans les différentes figures.) $\rho$

Application

Nous sommes prêts à faire la régression. Une méthode standard, élégante (mais simple) pour effectuer une régression consiste d’abord à exprimer les variables originales en nouvelles unités de mesure: nous les centrons sur leurs moyennes et utilisons leurs écarts types comme unités. Cela déplace le centre de la distribution vers l'origine et fait en sorte que tous ses contours elliptiques soient inclinés à 45 degrés (haut ou bas).

Lorsque ces données normalisées forment un nuage de points circulaire, la régression est simple: les moyennes conditionnelles à sont toutes , formant une ligne passant par l'origine. (La symétrie circulaire implique une symétrie par rapport à l' axe des , ce qui montre que toutes les distributions conditionnelles sont symétriques, d'où leur valeur ). Comme nous l'avons vu, nous pouvons voir que la distribution standardisée résulte de cette situation simple de base en deux étapes: , toutes les valeurs (normalisées) sont multipliées par $x$ $0$ $x$ $0$ $y$ pour une valeur de; ensuite, toutes les valeurs avec descoordonnéessont verticalement inclinées par. Qu'est-ce que ces distorsions ont fait sur la droite de régression (qui trace le moyen conditionnel contre)? $\sqrt{1-\rho^2}$ $\rho$ $x$ $\rho x$ $x$

Le rétrécissement des coordonnées multiplié toutes les déviations verticales par une constante. Cela a simplement changé l'échelle verticale et laissé tous les moyens conditionnels inchangés à . $y$ $0$
La transformation de biais verticale a ajouté à toutes les valeurs conditionnelles en , ajoutant ainsi à leur moyenne conditionnelle: la courbe est la courbe de régression, qui se révèle être une ligne. $\rho x$ $x$ $\rho x$ $y=\rho x$

De même, nous pouvons vérifier que, puisque l’ axe est l’ajustement des moindres carrés à la distribution symétrique circulaire, l’ajustement des moindres carrés à la distribution transformée est également la ligne : la ligne des moindres carrés coïncide avec la ligne de régression. $x$ $y=\rho x$

Ces beaux résultats sont une conséquence du fait que la transformation oblique verticale ne change aucune des coordonnées . $x$

On peut facilement en dire plus:

La première puce (sur le rétrécissement) montre que, lorsque a une distribution circulaire symétrique, la variance conditionnelle de été multiplié par $(X,Y)$ $Y|X$ . $\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$
Plus généralement: la transformation de biais verticale redimensionne chaque distribution conditionnelle de puis il se recentre par. $\sqrt{1-\rho^2}$ $\rho x$

Pour la distribution normale bivariée standard, la variance conditionnelle est une constante (égale à ), indépendante de . Nous concluons immédiatement qu'après l'application de cette transformation asymétrique, la variance conditionnelle des déviations verticales est toujours constante et égale à . Comme les distributions conditionnelles d'une normale bivariée sont elles-mêmes normales, maintenant que nous connaissons leurs moyennes et leurs variances, nous avons toutes les informations à leur sujet. $1$ $x$ $1-\rho^2$

Enfin, nous devons relier à la matrice de covariance initiale . $\rho$ $\Sigma$ A cet effet , rappeler que la définition (meilleurs) du coefficient de corrélation entre deux normalisé les variables et est l'attente de leur produit . (La corrélation de et est simplement déclarée être la corrélation de leurs versions normalisées.) Par conséquent, lorsque suit une distribution symétrique circulaire et que nous appliquons la transformation asymétrique aux variables, nous pouvons écrire $X$ $Y$ $XY$ $X$ $Y$ $(X,Y)$

ε = Y - ρ X

$\varepsilon = Y - \rho X$

pour les déviations verticales par rapport à la droite de régression et notez que doit avoir une distribution symétrique autour de . Pourquoi? Parce que , avant la transformation d' inclinaison a été appliquée, a une distribution symétrique autour de , puis on (a) la serra et (b) levée par . Le premier n'a pas changé de symétrie tandis que le dernier l'a recadrée à , QED. La figure suivante illustre cela. $\varepsilon$ $0$ $Y$ $0$ $\rho X$ $\rho X$

Tracé 3D montrant les distributions conditionnelles et la ligne des moindres carrés

Les lignes noires tracent des hauteurs proportionnelles aux densités conditionnelles à différentes valeurs de régulièrement espacées . La ligne blanche épaisse est la ligne de régression, qui passe par le centre de symétrie de chaque courbe conditionnelle. Ce graphique montre le cas en coordonnées normalisées. $x$ $\rho = -1/2$

par conséquent

E (X Y) = E (X (ρ X + ε)) = ρ E (X^{2}) + E (X ε) = ρ (1) + 0 = ρ .

$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$

La dernière égalité est due à deux faits: (1) parce que a été normalisé, l’attente de son carré est sa variance normalisée, égale à par construction; et (2) l'attente de égale l'attente de en vertu de la symétrie de . Comme ce dernier est le négatif du premier, les deux doivent être égaux à : ce terme disparaît. $X$ $1$ $X\varepsilon$ $X(-\varepsilon)$ $\varepsilon$ $0$

Nous avons identifié le paramètre de la transformation d' inclinaison, , comme étant le coefficient de corrélation de et . $\rho$ $X$ $Y$

Conclusions

En observant que toute ellipse peut être produite en déformant un cercle avec une transformation oblique verticale préservant la coordonnée , nous en sommes arrivés à comprendre les contours de toute distribution de variables aléatoires obtenue à partir d'une symétrie circulaire. l'une au moyen d'étirements, de compressions, de rotations et de changements (c'est-à-dire toute transformation affine). En ré-exprimant les résultats en unités originales de et - ce qui revient à rajouter leurs moyennes, et , après avoir multiplié par leurs écarts types $x$ $(X,Y)$ $x$ $y$ $\mu_x$ $\mu_y$ $\sigma_x$ et nous constatons que: $\sigma_y$

La droite des moindres carrés et la courbe de régression passent toutes deux par l'origine des variables standardisées, ce qui correspond au "point des moyennes" en coordonnées d'origine. $(\mu_x,\mu_y)$
La courbe de régression, définie comme étant le lieu des moyennes conditionnelles, coïncide avec la droite des moindres carrés. $\{(x, \rho x)\},$
La pente de la droite de régression en coordonnées normalisées est le coefficient de corrélation ; dans les unités d'origine, il est donc égal à . $\rho$ $\sigma_y \rho / \sigma_x$

Par conséquent, l'équation de la droite de régression est

y = \frac{σ_{y} ρ}{σ_{x}} (x - μ_{x}) + μ_{y} .

$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$

La variance conditionnelle de est fois la variance conditionnelle de où a une distribution standard (symétrique circulaire avec des variances unitaires dans les deux coordonnées), et $Y|X$ $\sigma_y^2(1-\rho^2)$ $Y'|X'$ $(X',Y')$ $X'=(X-\mu_X)/\sigma_x$ . $Y'=(Y-\mu_Y)/\sigma_Y$

Aucun de ces résultats n’est une propriété particulière des distributions normales à deux variables! Pour la famille normale bivariée, la variance conditionnelle de est constant (et égal à ): ce fait rend la famille particulièrement facile à travailler. En particulier: $Y'|X'$ $1$

Parce que dans la matrice covariance les coefficients sont $\Sigma$ et la variance conditionnelle de pour une distribution normale à deux variables est $\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$ $\sigma_{22}=\sigma_y^2,$ $Y|X$

σ_{y}^{2} (1 - ρ^{2}) = σ_{22} (1 - {(\frac{σ_{12}}{\sqrt{σ_{11} σ_{22}}})}^{2}) = σ_{22} - \frac{σ_{12}^{2}}{σ_{11}} .

$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$

Notes techniques

L'idée clé peut être énoncée sous forme de matrices décrivant les transformations linéaires. Cela revient à trouver une "racine carrée" convenable de la matrice de corrélation pour laquelle est un vecteur propre. Ainsi: $y$

(\begin{array}{cc} 1 & ρ \\ ρ & 1 \end{array}) = A A^{'}

$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$

où

A = (\begin{array}{cc} 1 & 0 \\ ρ & \sqrt{1 - ρ^{2}} \end{array}) .

$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$

Une racine carrée bien mieux connue est celle décrite initialement (impliquant une rotation au lieu d’une transformation asymétrique); c'est celui produit par une décomposition en valeurs singulières et il joue un rôle important dans l'analyse en composantes principales (ACP):

(\begin{array}{cc} 1 & ρ \\ ρ & 1 \end{array}) = B B^{'};

$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$

B = Q (\begin{array}{cc} \sqrt{ρ + 1} & 0 \\ 0 & \sqrt{1 - ρ} \end{array}) Q^{'}

$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$

où est la matrice de rotation pour unerotation dedegrés. $\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$ $45$

Ainsi, la distinction entre ACP et régression se résume à la différence entre deux racines carrées spéciales de la matrice de corrélation.

— whuber
source

De belles images et de superbes descriptions. Il y avait quelques phrases dans la mise à jour qui restaient incomplètes (comme si vous saviez ce que vous alliez dire, mais que vous n'aviez pas encore choisi le texte final).

— cardinal

@ Cardinal Merci. Je vais relire ceci et chercher de telles choses, ainsi que les fautes de frappe inévitables. Vous êtes trop aimable pour souligner d'autres choses que vous avez sûrement remarquées, telles que des lacunes dans l'exposition. Le plus important est que je n’ai pas réellement montré que ces ellipses avaient un angle de 45 degrés (équivalent, inscrit dans le carré unitaire); J'ai simplement supposé cela. Je cherche encore une démonstration simple. L'autre est que l'on pourrait craindre que la transformation oblique ne produise une distribution différente de celle d'origine, mais il est facile de montrer que ce n'est pas le cas.

— whuber

C'est vraiment intéressant. Merci d'avoir pris le temps de le rédiger.

— Bill

Au premier paragraphe des applications, il est écrit que: "nous les centrons sur leurs moyens et utilisons leurs écarts-types en tant qu'unités. Cela déplace le centre de la distribution à l'origine et en incline tous les contours elliptiques à 45 degrés", mais je ne le fais pas. t comprendre comment le centrage des variables sur leurs moyens déplace leurs centres vers l’origine et les aligne à 45 degrés?

— Kaushal28

@whuber lorsque vous commencez avec un cercle unitaire (ensemble d'échantillons normalisé), vous dites que la corrélation est égale à 0, alors j'imagine que nous obtenons un cercle de type

. Mais comment 0 corrélation signifie indépendance? (car

est obtenu par

f (X, Y) = e^{\frac{1}{2} (x^{2} + y^{2})}

$f(X,Y)=e^{\frac{1}{2}{(x^2 + y^2)}}$

f (X, Y)

$f(X,Y)$

comme nous le voyons. Ce n'est généralement pas vrai. Même des variables dépendantes pourraient produire une corrélation

f (X) f (Y)

$f(X)f(Y)$

— nulle

Il s’agit d’une régression essentiellement linéaire (MCO). Dans ce cas, vous trouvez la distribution conditionnelle de étant donné que . (À proprement parler, la régression OLS ne fait pas de suppositions sur la distribution de , alors que votre exemple est une normale multivariée, mais nous allons ignorer ces choses.) Maintenant, si la covariance entre et n'est pas $Y$ $X=x_i$ $X$ $X_1$ $X_2$ , alors la moyenne de ladistributionconditionnellede doit être modifiée lorsque vous modifiez la valeur de $0$ $X_2$ $x_1$ où vous «découpez» la distribution multivariée. Considérons la figure ci-dessous:

entrez la description de l'image ici

$X_1$ $X_2$ $X_2$ $X_1$ $\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$ .

$\sigma_{22}$ $\Sigma$ $X_2$ $\sigma^2$ $\sigma$ )

$\hat y_i$

{\hat{β}}_{1} = \frac{Cov (x, y)}{Var (x)}

$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$

^{σ_{12}} /_{σ_{22}}

$^{\sigma_{12}}/_{\sigma_{22}}$

μ_{X_{2} | X_{1} = x_{i}}

$\mu_{X_2|X_1=x_i}$

μ_{X_{2}}

$\mu_{X_2}$

μ_{X_{2}}

$\mu_{X_2}$

x_{2 i}

$x_{2i}$

X_{1}

$X_1$

X_{2}

$X_2$

— gung - Rétablir Monica
source

Qu'advient-il si vous conditionnez sur plus de variables? Vous voudriez simplement additionner et soustraire des termes supplémentaires de la moyenne et de la variance?

Y

$Y$

X

$\bf X$

{\hat{y}}_{i} = X_{i} \hat{β}

$\hat y_i=\bf X_i \boldsymbol{\hat\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\boldsymbol{\hat\beta}=(\bf X^TX)^{-1}X^TY$

Qu'avez-vous utilisé pour produire le graphique? Mathematica?

— Mpiktas

@mpiktas, mon graphique ou whuber? Je crois que c’est Mathematica, mais j’ai fait celui ci-dessus avec R. (code laid, mais ...)

— gung - Reinstate Monica

@mpiktas, je ne peux pas imaginer que mon code devrait être décrit comme "génial" ... Les courbes normales sont dessinées avec dnorm(y). J'ajoute simplement la sortie à 25& 45, & use as x.

— gung - Réintégrer Monica

$X_1$ $X_2$ $\sigma_{1,2}>0$ $X_2$ $X_2$ $X_1$ $X_1$

$X_2=\mathit{x}_2>\mu_2$ $X_2$ $X_1$ $\sigma_{1,2}>0$ $X_1$ $X_2$ $X_2$ $X_1$

E {X_{1} | X_{2} = x_{2}} = μ_{1} + \frac{σ_{1, 2}}{σ_{2, 2}} (x_{2} - μ_{2})

$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$

X_{2}

$X_2$

E {X_{1} | X_{2} = x_{2}} > μ_{1}

$E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

$X_1$ $X_2$

B L P {X_{1} | X_{2} = x_{2}} = μ_{1} + \frac{σ_{1, 2}}{σ_{2, 2}} (x_{2} - μ_{2})

$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$

B L P

$BLP$

— Facture
source

x_{2} - μ_{2}

$x_2-\mu_2$

σ_{12} / σ_{22}

$\sigma_{12}/\sigma_{22}$

x_{2} > μ_{2}

$\mathit{x}_2>\mu_2$

E (X_{1} | X_{2} = x_{2}) < μ_{1}

$E(X_1|X_2=\mathit{x}_2)<\mu_1$

σ_{1, 2} > 0

$\sigma_{1,2}>0$

"Intuitif" n'implique pas "non quantitatif": les deux peuvent aller ensemble. Il est souvent difficile de trouver un argument intuitif donnant des résultats quantitatifs, mais cela peut souvent être fait et le processus de recherche d'un tel argument est toujours éclairant.

— whuber

Concernant le dernier paragraphe: j’ai découvert que la distribution normale n’est pas si spéciale: les familles créées par des transformations affines de distributions circulaires symétriques sont les plus spéciales (très nombreuses).

— whuber

@ Whuber C'est assez intéressant. Avez-vous un lien ou citer?

— Bill