Explication intuitive de la division par

On m'a demandé aujourd'hui en classe pourquoi on divisait la somme de l'erreur carrée par au lieu de , lors du calcul de l'écart type.$n-1$$n$

J'ai dit que je ne vais pas y répondre en classe (étant donné que je ne voulais pas utiliser d'estimateurs non biaisés), mais plus tard, je me suis demandé - existe-t-il une explication intuitive à cela?!

L'écart-type calculé avec un diviseur est un écart-type calculé à partir de l'échantillon en tant qu'estimation de l'écart-type de la population à partir de laquelle l'échantillon a été tiré. Comme les valeurs observées tombent en moyenne plus près de la moyenne de l'échantillon que de la moyenne de la population, l'écart-type calculé à l'aide des écarts par rapport à la moyenne de l'échantillon sous-estime l'écart-type souhaité de la population. Utiliser au lieu de comme diviseur corrige cela en rendant le résultat un peu plus grand.n - 1 $n-1$$n-1$$n$

Notez que la correction a un effet proportionnel plus important lorsque est petit que quand il est grand, ce que nous souhaitons car, lorsque n est plus grand, la moyenne de l’échantillon sera probablement un bon estimateur de la moyenne de la population.$n$

Lorsque l'échantillon est constitué de la population entière, nous utilisons l'écart type avec comme diviseur, car la moyenne de l'échantillon est la moyenne de la population.$n$

(Je remarque entre parenthèses que rien qui commence par "deuxième moment recensé autour d'un moyen défini et connu" ne répondra à la demande d'explication intuitive du questionneur.)

Un cas courant est que la définition de la variance (d'une distribution) est le deuxième moment recensé autour d'une moyenne définie connue , alors que l'estimateur utilise une moyenne estimée . Cette perte de degré de liberté (compte tenu de la moyenne, vous pouvez reconstituer le jeu de données en sachant que des valeurs de données) nécessite l’utilisation de n - 1 plutôt que n pour "ajuster" le résultat.$n-1$$n-1$$n$

Une telle explication est cohérente avec les variances estimées dans l'analyse de la variance et l'analyse des composantes de la variance. C'est vraiment juste un cas spécial.

Je pense que la nécessité de procéder à un ajustement qui gonfle la variance peut être clarifiée intuitivement avec un argument valable qui ne consiste pas seulement à agiter la main a posteriori . (Je me souviens que Student avait peut-être avancé un tel argument dans son article de 1908 sur le test t.) Pourquoi l'ajustement de la variance doit-il être exactement un facteur de est-il plus difficile à justifier, en particulier lorsque vous considérez que le SD ajusté n'est pas$n/(n-1)$un estimateur non biaisé. (Il s'agit simplement de la racine carrée d'un estimateur non biaisé de la variance. Être non biaisé ne survit généralement pas à une transformation non linéaire.) Donc, en fait, le bon ajustement du DS pour éliminer son biais n'est pas un facteur de du tout!$\sqrt{n/(n-1)}$

Certains manuels d'initiation ne se donnent même pas la peine d'introduire le sd ajusté: ils enseignent une formule (diviser par ). J'ai d'abord réagi négativement à cela lorsque j'enseignais à partir d'un tel livre, mais j'ai appris à mieux comprendre la sagesse: pour se concentrer sur les concepts et les applications, les auteurs retirent toutes les subtilités mathématiques essentielles. Il s'avère que rien n'est blessé et que personne n'est induit en erreur.$n$

Par définition, la variance est calculée en prenant la somme des différences au carré de la moyenne et en la divisant par la taille. Nous avons la formule générale

oùμest la moyenne etNla taille de la population.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

Selon cette définition, la variance d'un échantillon (par exemple, l'échantillon ) doit également être calculée de cette manière.$t$

où ¯ X est la moyenne etnla taille de ce petit échantillon.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

Cependant, par variance d'échantillon , nous entendons un estimateur de la variance de population σ 2 . Comment pouvons-nous estimer σ 2 uniquement en utilisant les valeurs de l'échantillon?$S^2$$\sigma^2$$\sigma^2$

Selon les formules ci-dessus, la variable aléatoire s'écarte de la moyenne de l'échantillon ¯ X avec la variance σ 2 t . La moyenne de l'échantillon ¯ X s'écarte également de µ avec la variance σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ parce que la moyenne de l'échantillon obtient des valeurs différentes d'un échantillon à l'autre et qu'il s'agit d'une variable aléatoire avec la moyenneµet la varianceσ$\frac{\sigma^2}{n}$$\mu$ . (On peut prouver facilement.)$\frac{\sigma^2}{n}$

Par conséquent, approximativement, devrait s'écarter de μ avec une variance impliquant deux variances, donc additionnez-les et obtenez σ 2 = σ 2 t + σ $X$$\mu$ . En résolvant ceci, nous obtenonsσ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Remplacerσ 2 t donne notre estimateur pour la variance de population:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

On peut aussi prouver que est vrai.$E[S^2]=\sigma^2$

Il s’agit d’une intuition totale, mais la réponse la plus simple est une correction visant à rendre l’écart-type de l’échantillon à un élément non défini au lieu de 0.

Vous pouvez acquérir une compréhension plus profonde du terme grâce à la géométrie seule, non seulement pourquoi il n’est pas n, mais pourquoi il prend exactement cette forme, mais vous devrez peut-être d’abord renforcer votre intuition pour faire face à la géométrie n- dimensionnelle. À partir de là, cependant, il ne reste qu'un petit pas vers une compréhension plus approfondie des degrés de liberté dans les modèles linéaires (c'est-à-dire le modèle df et le df résiduel). Je pense qu'il y a peu de doute que Fisher a pensé de cette façon. Voici un livre qui le construit progressivement:$n-1$$n$$n$

Saville DJ, Wood GR. Méthodes statistiques: l'approche géométrique . 3ème édition. New York: Springer-Verlag; 1991. 560 pages. 9780387975177

(Oui, 560 pages. Je l'ai dit progressivement.)

L'estimateur de la variance de la population est biaisé lorsqu'il est appliqué à un échantillon de la population. Afin d’ajuster ce biais, il faut diviser par n-1 au lieu de n. On peut montrer mathématiquement que l'estimateur de la variance de l'échantillon est non biaisé lorsque l'on divise par n-1 au lieu de n. Une preuve formelle est fournie ici:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Au départ, je suppose que c'est la correction mathématique qui a conduit à la formule. Cependant, si l'on veut ajouter de l'intuition à une formule, les suggestions déjà mentionnées semblent raisonnables.

Premièrement, les observations d’un échantillon sont en moyenne plus proches de la moyenne de l’échantillon que de la moyenne de la population. L'estimateur de variance utilise la moyenne de l'échantillon et sous-estime par conséquent la variance réelle de la population. La division par n-1 au lieu de n corrige ce biais.

De plus, en divisant par n-1, la variance d'un échantillon à un élément n'est plus définie, mais non définie à zéro.

Pourquoi diviser par plutôt que n ? Parce que cela est habituel et donne une estimation non biaisée de la variance. Cependant, il en résulte une estimation biaisée (faible) de l'écart type, comme en témoigne l'application de l'inégalité de Jensen à la fonction concave, la racine carrée.$n-1$$n$

Alors, quel est l'avantage d'avoir un estimateur non biaisé? Cela ne minimise pas nécessairement l'erreur quadratique moyenne. Le MLE pour une distribution normale consiste à diviser par plutôt que par n - 1 . Apprenez à vos élèves à penser, plutôt qu’à régurgiter et à appliquer aveuglément des notions désuètes d’il ya un siècle.$n$$n-1$

$\alpha z^2 + 2\beta z + \gamma$$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ $\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

$x_i$$n$$\mu$$\sigma^2$$\mu$$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$$G(\bar{x})$$\frac{n}{n-1}$

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Pour passer de la définition aléatoire de la variance à la définition de la variance échantillon, il suffit d'estimer une attente par une moyenne qui peut être justifiée par le principe philosophique de la typicité: L'échantillon est une représentation typique de la distribution. (Notez que ceci est lié à, mais pas la même chose que l'estimation par moments.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

À la suggestion de whuber , cette réponse a été copiée d' une autre question similaire .

La correction de Bessel est adoptée pour corriger le biais en utilisant la variance de l'échantillon comme estimateur de la variance vraie. Le biais dans la statistique non corrigée se produit parce que la moyenne de l'échantillon est plus proche du milieu des observations que la moyenne réelle, de sorte que les écarts carrés autour de la moyenne de l'échantillon sous-estiment systématiquement les écarts carrés autour de la moyenne réelle.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Prendre les rendements attendus:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

En général, l’utilisation de "n" dans le dénominateur donne des valeurs inférieures à la variance de la population, ce que nous voulons estimer. Cela se produit surtout si les petits échantillons sont prélevés. Dans le langage statistique, nous disons que la variance de l’échantillon fournit une estimation «biaisée» de la variance de la population et doit être rendue «non biaisée».

Si vous recherchez une explication intuitive, vous devriez laisser vos élèves comprendre eux-mêmes la raison en prélevant des échantillons! Regardez ceci, cela répond précisément à votre question.

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Pour répondre à cette question, nous devons revenir à la définition d'un estimateur non biaisé. Un estimateur non biaisé est un estimateur dont l'attente tend à la vraie. La moyenne de l'échantillon est un estimateur sans biais. Pour voir pourquoi:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Laissez-nous regarder l'attente de la variance de l'échantillon,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

La distribution T généralisée de Student a trois paramètres et utilise les trois statistiques. Si vous décidez de supprimer certaines informations, vous pouvez procéder à une approximation supplémentaire de vos données en utilisant une distribution normale à deux paramètres, comme décrit dans votre question.

D'un point de vue bayésien, vous pouvez imaginer que l'incertitude des hyperparamètres du modèle (distributions sur la moyenne et la variance) fait que la variance de la prédiction postérieure est supérieure à la variance de la population.

Mon Dieu ça se complique! Je pensais que la réponse était simple: si vous avez tous les points de données, vous pouvez utiliser "n", mais si vous avez un "échantillon", alors, en supposant qu'il s'agisse d'un échantillon aléatoire, vous avez plus de points d'échantillon à l'intérieur de l'écart type. que de l'extérieur (la définition de l'écart type). Vous n'avez tout simplement pas assez de données à l'extérieur pour vous assurer d'obtenir tous les points de données dont vous avez besoin de manière aléatoire. Le n-1 aide à s’étendre vers l’écart type "réel".