Pourquoi l'écart type de l'échantillon est-il un estimateur biaisé de ?

Selon l'article de Wikipedia sur l' estimation non biaisée de l'écart type, l'échantillon SD

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

est un estimateur biaisé du SD de la population. Il est écrit que . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB Les variables aléatoires sont indépendantes et chaque $x_{i} \sim N(\mu,\sigma^{2})$

Ma question est double:

Quelle est la preuve de la partialité?
Comment calcule-t-on l'attente de l'écart type de l'échantillon?

Ma connaissance des maths / stats n'est qu'intermédiaire.

estimation standard-deviation

— Dav Weps
source

Vous trouverez une réponse à ces deux questions dans l'article de Wikipedia sur la distribution de Chi .

— whuber

La réponse de NRH à cette question donne une preuve simple et intéressante du biais de l'écart type de l'échantillon. Ici, je vais calculer explicitement l'espérance de l'écart type de l'échantillon (la deuxième question de l'affiche originale) à partir d'un échantillon normalement distribué, point auquel le biais est clair.

La variance non biaisée d'un ensemble de points est $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Si les sont normalement distribués, c’est un fait que $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} \sim χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

où est la vraie variance. La a une densité de probabilité $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

en utilisant cela, nous pouvons déduire la valeur attendue de ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d x \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

qui découle de la définition de la valeur attendue et du fait que est la racine carrée d'une variable distribuée . L'astuce consiste maintenant à réorganiser les termes afin que l'intégrande devienne une autre densité de : $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

maintenant nous connaissons l'intégrale et la dernière ligne est égale à 1, puisqu'il s'agit d'une densité de . Simplifier un peu les constantes donne $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

Donc le biais de est $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ comme .

n \to \infty

$n \to \infty$

Il n'est pas difficile de voir que ce biais n'est pas égal à 0 pour un fini , prouvant ainsi que l'écart type de l'échantillon est biaisé. En dessous du biais se trouve la courbe en fonction de pour en rouge avec en bleu: $n$ $n$ $\sigma=1$ $1/4n$

entrez la description de l'image ici

— Macro
source

(+1) Bonne réponse. J'espère que cela ne vous dérange pas, j'ai peaufiné quelques petites choses et ajouté un résultat asymptotique concernant le biais. Je suppose que vous pouvez superposer la courbe à votre graphique, mais c'est probablement inutile. À votre santé. :)

(4 n)^{- 1}

$(4n)^{-1}$

— cardinal

Vous avez vraiment eu beaucoup de mal à faire cette macro. Lorsque j'ai vu le message pour la première fois il y a environ une minute, je pensais montrer le biais en utilisant la règle de Jensen, mais quelqu'un l'a déjà fait.

— Michael Chernick

Bien sûr, c’est une façon détournée de montrer que l’écart type est biaisé - je répondais principalement à la deuxième question de l’affiche originale: "Comment calcule-t-on l’attente de l’écart type?".

— Macro

Un autre point qui mérite peut-être d'être mentionné est que ce calcul permet de lire immédiatement ce que l'estimateur UMVU de l'écart type est dans le cas gaussien: on multiplie simplement par l'inverse du facteur d'échelle qui apparaît dans la preuve. Ceci généralise assez facilement les estimateurs UMVU de .

s

$s$

σ^{k}

$\sigma^k$

— cardinal

Désolé, Macro. La même approche intégrale de base que vous avez utilisée fonctionnera, vous obtiendrez simplement un facteur de mise à l'échelle différent de , les arguments gamma que vous obtenez étant des fonctions de . C'est ce que je voulais dire, mais le résultat est un peu trop concis. :)

s^{k}

$s^k$

k

$k$

— cardinal

Vous n'avez pas besoin de normalité. Tout ce dont vous avez besoin est que est un estimateur sans biais de la variance . Puis utilisez que la fonction racine carrée est strictement concave telle que (par une forme forte de l'inégalité de Jensen ) sauf si la distribution de dégénère à .

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

E (\sqrt{s^{2}}) < \sqrt{E (s^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
source

Complétant la réponse de NRH, si quelqu'un enseigne cela à un groupe d'étudiants qui n'ont pas encore étudié l'inégalité de Jensen, il est possible de définir l'écart type de l'échantillon supposons que soit pas dégénéré (donc, ), et remarquez les équivalences

S_{n} = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - {\bar{X}}_{n})^{2}}{n - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V a r [S_{n}] = E [S_{n}^{2}] - E^{2} [S_{n}] \Leftrightarrow E^{2} [S_{n}] < E [S_{n}^{2}] \Leftrightarrow E [S_{n}] < \sqrt{E [S_{n}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— Zen
source