Indépendance de la moyenne de l'échantillon et de la variance de l'échantillon dans la distribution binomiale

Laisser $X\sim\mathrm{Binomial}(n,p)$. Nous savons que$\mathrm{E}[X]=np$ et $\mathrm{Var}[X]=np(1-p)$. Cela signifie-t-il que l' échantillon signifie$\bar x$et la variance de l' échantillon$s^2$sont dépendants les uns des autres? Ou cela signifie-t-il simplement que la variance de la population peut être écrite en fonction de la moyenne de la population ?

$\bar x$ et $s^2$sont des variables aléatoires. Nous pouvons travailler sur leur distribution commune. Essayons le cas non trivial le plus simple possible, celui d'un échantillon de taille$2$ à partir d'un binôme$(1,p)$Distribution. Il n'y a que quatre possibilités pour cet échantillon, qui sont présentées sous forme de tableau avec leurs probabilités (calculées à partir de l'indépendance des deux éléments de l'échantillon):

First value | Second value | Mean | Variance | Probability
          0 |            0 |    0 |        0 | (1-p)^2
          0 |            1 |  1/2 |      1/2 | (1-p)p
          1 |            0 |  1/2 |      1/2 | p(1-p)
          1 |            1 |    1 |        0 | p^2

La moyenne prédit parfaitement la variance dans cet exemple. Ainsi, à condition que toutes les probabilités soient non nulles (c'est-à-dire,$p$ est ni $0$ ni $1$), la moyenne et la variance de l'échantillon ne sont pas indépendantes.

Une question intéressante est de savoir si, dans une famille de distributions, la moyenne détermine la variance, la moyenne de l'échantillon et la variance de l'échantillon peuvent être indépendantes. La réponse est oui: prenez n'importe quelle famille de distributions normales dans laquelle la variance dépend de la moyenne telle que l'ensemble de toutes les normales$(\mu, \mu^2)$distributions. Peu importe laquelle de ces distributions régit l'échantillon, la moyenne et la variance de l'échantillon seront indépendantes, car c'est le cas pour toute distribution normale.

Cette analyse suggère que des questions sur la structure d’une famille de distributions (qui concernent$n$, $p$, $\mu$, et ainsi de suite) n'ont aucune incidence sur les questions d'indépendance des statistiques des échantillons par rapport à un élément donné de la famille.

La propriété qui, pour un échantillon iid, la moyenne de l'échantillon et la variance de l'échantillon sont indépendants, est une caractérisation de la distribution normale: pour aucune autre distribution une telle propriété ne tient.

Voir Patel, JK et Read, CB (1982). Manuel de la distribution normale , p. 81 dans la 1ère édition de 1982, au chapitre "Caractérisations" (peut avoir changé de page dans la 2ème édition de 1996).

Ainsi, pour toute autre distribution, la moyenne de l'échantillon et la variance de l'échantillon dépendent statistiquement.

Le résultat général concernant la moyenne de l'échantillon et la variance de l'échantillon à partir d'un échantillon iid de toute distribution qui a des moments jusqu'au 3d, est le suivant (en utilisant l'estimateur sans biais pour la variance):

$$\operatorname{Cov} (\bar X, s^2) = E(\bar X s^2) - E(x)\operatorname{Var}(x) = \frac 1n E[X-E(x)]^3$$

En d'autres termes, la covariance entre la moyenne de l'échantillon et la variance de l'échantillon est égale au troisième moment central, divisée par $n$. Conséquences:

1) À mesure que la taille de l'échantillon augmente, les deux ont tendance à devenir non corrélés.

2) Pour toute distribution dont le troisième moment central est égal à zéro, elles ne sont pas corrélées (bien qu'elles restent dépendantes, pour toutes les distributions sauf la normale). Cela inclut bien sûr toutes les distributions symétriques par rapport à leur moyenne, mais aussi d'autres distributions qui ne sont pas symétriques par rapport à leur moyenne mais qui ont quand même le troisième moment central égal à zéro , voir ce fil .

Un cas extrême est $\operatorname{Bernoulli}(p) = \operatorname{Binomial}(1,p).$ Considérons un échantillon de taille (capital) $N:$

$$\begin{align} Ns^2 = \sum_{k=1}^N (x_k - \overline x)^2 = {} & \left( \sum_k x_k^2 \right) - \left( 2\overline x \sum_i x_k \right) + \left( N\overline x^2 \right) \\[10pt] = {} & \left( \sum_k x_k \right) - 2\overline x \sum_k x_k + \left( n\overline x^2 \right) \\ & \text{since $x_k = 0$ or $1$, so $x_k^2=x_k$} \\[12pt] = {} & N\overline x - 2N\overline x^2 + N \overline x^2 \\[10pt] = {} & N \overline x(1-\overline x), \\[10pt] \text{so } s^2 = {} & \overline x(1-\overline x). \end{align}$$ Ainsi quand (minuscule) $n$ est $1,$alors la moyenne de l'échantillon détermine la variance de l'échantillon, ils sont donc loin d'être indépendants. Mais la variance de l'échantillon ne détermine pas complètement la moyenne de l'échantillon, car il existe deux valeurs de$\overline x$ qui donnent la même valeur de $\overline x(1-\overline x).$

Lorsque les deux $np$ et $n(1-p)$ sont grandes, alors je m'attends à ce que la moyenne et la variance de l'échantillon soient presque indépendantes puisque la distribution est presque normale.