Intuition derrière l'écart-type

26

J'essaie d'acquérir une meilleure compréhension intuitive de l'écart-type.

D'après ce que je comprends, il est représentatif de la moyenne des différences d'un ensemble d'observations dans un ensemble de données par rapport à la moyenne de cet ensemble de données. Cependant, il n'est PAS réellement égal aux moyennes des différences car il donne plus de poids aux observations plus éloignées de la moyenne.

Disons que j'ai la population de valeurs suivante - $\{1, 3, 5, 7, 9\}$

La moyenne est de . $5$

Si je prends une mesure de l'écart basé sur la valeur absolue, je reçois

\frac{\sum_{je = 1}^{5} | X_{je} - μ |}{5} = 2.4

$\frac{\sum_{i = 1}^5|x_i - \mu|}{5} = 2.4$

Si je prends une mesure de l'écart en utilisant l'écart-type, je reçois

\sqrt{\frac{\sum_{je = 1}^{5} (X_{je} - μ)^{2}}{5}} = 2,83

$\sqrt{\frac{\sum_{i = 1}^5(x_i - \mu)^2}{5}} = 2.83$

Le résultat utilisant l'écart-type est plus grand, comme prévu, en raison du poids supplémentaire qu'il donne à des valeurs plus éloignées de la moyenne.

Mais si on venait de me dire que j'avais affaire à une population avec une moyenne de et un écart type de comment pourrais-je en déduire que la population était composée de valeurs quelque chose comme ? Il semble juste que le chiffre de soit très arbitraire ... Je ne vois pas comment vous êtes censé l'interpréter. Est-ce que signifie que les valeurs sont très répandues ou sont-elles toutes étroitement regroupées autour de la moyenne ... $5$ $2.83$ $\{1, 3, 5, 7, 9\}$ $2.83$ $2.83$

Quand on vous présente une déclaration selon laquelle vous avez affaire à une population avec une moyenne de et un écart-type de qu'est-ce que cela vous dit sur la population? $5$ $2.83$

standard-deviation intuition

— détonation supersonique
source

2

Cette question est liée (mais n'est pas identique) à stats.stackexchange.com/q/81986/3277 et à une autre qui y est liée.

— ttnphns

1

Il vous indique une distance «typique» de la moyenne (la distance RMS). Ce qui fait que «grand» ou «petit» dépend de vos critères. Si vous essayez de mesurer les tolérances d'ingénierie, cela peut être énorme. Dans d'autres contextes, le même écart-type peut être considéré comme assez faible.

— Glen_b -Reinstate Monica

13

Mon intuition est que l'écart-type est: une mesure de la diffusion des données.

Vous avez raison de dire que si elle est large ou serrée, cela dépend de notre hypothèse sous-jacente pour la distribution des données.

Mise en garde: Une mesure de l'écart est plus utile lorsque la distribution de vos données est symétrique autour de la moyenne et a une variance relativement proche de celle de la distribution normale. (Cela signifie qu'il est approximativement normal.)

Dans le cas où les données sont approximativement normales, l'écart type a une interprétation canonique:

Région: Échantillon moyen +/- 1 écart-type, contient environ 68% des données
Région: Échantillon standard +/- 2 écart-type, contient environ 95% des données
Région: Échantillon de l'écart-type moyen +/- 3, contient environ 99% des données

(voir le premier graphique du Wiki )

Cela signifie que si nous savons que la moyenne de la population est de 5 et que l'écart-type est de 2,83 et que nous supposons que la distribution est approximativement normale, je vous dirais que je suis raisonnablement certain que si nous faisons (un grand) nombre d'observations, seulement 5% être inférieur à 0,4 = 5 - 2 * 2,3 ou supérieur à 9,6 = 5 + 2 * 2,3.

Remarquez quel est l'impact de l'écart-type sur notre intervalle de confiance? (plus il y a de dispersion, plus il y a d'incertitude)

De plus, dans le cas général où les données ne sont même pas approximativement normales, mais toujours symétriques, vous savez qu'il existe des pour lesquels: $\alpha$

Région: Échantillon standard ± écart type, contient environ 95% des données $\alpha$

Vous pouvez soit apprendre l' partir d'un sous-échantillon, soit supposer et cela vous donne souvent une bonne règle de base pour calculer dans votre tête quelles observations futures attendre, ou lesquelles des nouvelles observations peuvent être considérées comme des valeurs aberrantes. (gardez à l'esprit la mise en garde!) $\alpha$ $\alpha=2$

Je ne vois pas comment vous êtes censé l'interpréter. Est-ce que 2,83 signifie que les valeurs sont très répandues ou sont-elles toutes étroitement regroupées autour de la moyenne ...

Je suppose que chaque question demandant "large ou serré", devrait également contenir: "par rapport à quoi?". Une suggestion pourrait être d'utiliser une distribution bien connue comme référence. Selon le contexte, il pourrait être utile de penser: "Est-il beaucoup plus large ou plus serré qu'un Normal / Poisson?".

EDIT: Sur la base d'un indice utile dans les commentaires, un aspect de plus sur l'écart-type en tant que mesure de distance.

Une autre intuition encore de l'utilité de l'écart type est qu'il s'agit d'une mesure de distance entre les données d'échantillon et sa moyenne : $s_N$ $x_1,… , x_N$ $\bar{x}$

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}$

À titre de comparaison, l'erreur quadratique moyenne (ESM), l'une des mesures d'erreur les plus courantes en statistique, est définie comme suit:

$\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^n(\hat{Y_i} - Y_i)^2$

Les questions peuvent être posées pourquoi la fonction de distance ci-dessus? Pourquoi des distances au carré, et non des distances absolues par exemple? Et pourquoi prenons-nous la racine carrée?

Le fait d'avoir des fonctions de distance quadratique, ou d'erreur, a l'avantage de pouvoir à la fois les différencier et les minimiser facilement. En ce qui concerne la racine carrée, elle ajoute à l'interprétabilité car elle convertit l'erreur à l'échelle de nos données observées.

— sens à sens
source

Pourquoi dites-vous qu'une mesure de l'écart est plus «utile» lorsque les données sont normales? Il me semble que tout ensemble de données a un écart et l'écart-type est un résumé de l'écart même s'il ne capture pas la forme de l'écart.

— Michael Lew

Bien sûr, vous avez raison. Mais je ne prétendais pas que l'écart-type dépend de la forme de la distribution de quelque façon que ce soit. Soulignant simplement que SI vous avez une certaine connaissance de la forme (ou si vous êtes prêt à faire cette supposition), il s'agit généralement d'une information beaucoup plus utile. De la même manière, la moyenne de l'échantillon est un bon descripteur de vos données, SI vous pouvez faire certaines hypothèses générales sur la distribution.

— signifiant le

Ma raison préférée pour utiliser le carré au lieu de la valeur absolue est de cette façon que c'est un logarithme de probabilité d'une certaine gaussienne. Donc, si vous pensez que les erreurs sont de nature gaussienne et que les bits sont un bon moyen de mesurer les informations, alors il est logique d'utiliser l'erreur quadratique.

— qbolec

5

Il peut être utile de réaliser que la moyenne est analogue au centre de masse . La variance est le moment d'inertie . L'écart type est le rayon de giration .

Pour une perspective historique, jetez un œil à:

George Airy (1875) Sur la théorie algébrique et numérique des erreurs d'observation et la combinaison des observations

Karl Pearson (1894) Contributions à la théorie mathématique de l'évolution.

Ce graphique d'Airy 1875 montre les différentes mesures de déviation qui sont facilement interconverties (page 17). L'écart type est appelé "erreur du carré moyen". Il est également discuté pages 20-21 et il justifie son utilisation à la page 48, montrant qu'il est plus facile de calculer à la main car il n'est pas nécessaire de calculer séparément les erreurs négatives et positives. Le terme écart-type a été introduit par Pearson dans le document cité ci-dessus à la page 75.

entrez la description de l'image ici

Soit dit en passant: notez que l'utilité de l'écart-type dépend de l'applicabilité de la "loi des erreurs", également connue sous le nom de "courbe normale", qui découle "d'un grand nombre de causes d'erreur indépendantes" (Airy 1875 p. 7). Il n'y a aucune raison de s'attendre à ce que les écarts par rapport à la moyenne d'un groupe de chaque individu suivent cette loi. Dans de nombreux cas, pour les systèmes biologiques, une distribution log-normale est une meilleure hypothèse que la normale. Voir:

Limpert et al (2001) Distributions log-normales dans les sciences: clés et indices

Il est en outre douteux qu'il soit approprié de traiter la variation individuelle comme du bruit, car le processus de génération de données agit au niveau de l'individu et non du groupe.

— Livide
source

3

L'écart type donne en effet plus de poids à ceux qui sont plus éloignés de la moyenne, car il s'agit de la racine carrée de la moyenne des distances au carré. Les raisons de l'utiliser (plutôt que l'écart absolu moyen que vous proposez, ou l'écart absolu médian, qui est utilisé dans les statistiques robustes) sont en partie dues au fait que le calcul a plus de facilité avec les polynômes qu'avec les valeurs absolues. Cependant, nous voulons souvent souligner les valeurs extrêmes.

Quant à votre question sur la signification intuitive - elle évolue avec le temps. Vous avez raison de dire que plusieurs ensembles de nombres peuvent avoir la même moyenne et le même sd; cela est dû au fait que la moyenne et sd ne sont que deux éléments d'information, et l'ensemble de données peut être de 5 éléments (comme 1,3,5,7,9) ou bien plus.

Le fait que la moyenne 5 et sd de 2,83 soit "large" ou "étroit" dépend du domaine dans lequel vous travaillez.

Lorsque vous n'avez que 5 numéros, il est facile de consulter la liste complète; lorsque vous avez de nombreux nombres, des façons plus intuitives de penser à la propagation incluent des éléments tels que le résumé à cinq chiffres ou, mieux encore, des graphiques tels qu'un graphique de densité.

— Peter Flom - Réintégrer Monica
source

2

L'écart type mesure la distance de votre population à la moyenne sous forme de variables aléatoires.

$X: [0,1] \rightarrow \mathbb{R}$

X (t) = {\begin{cases} 1 & 0 \leq t < \frac{1}{5} \\ 3 & \frac{1}{5} \leq t < \frac{2}{5} \\ 5 & \frac{2}{5} \leq t < \frac{3}{5} \\ 7 & \frac{3}{5} \leq t < \frac{4}{5} \\ 9 & \frac{4}{5} \leq t \leq 1 \end{cases}

$X(t) = \begin{cases} 1 & 0 \leq t < \frac{1}{5} \\ 3 & \frac{1}{5} \leq t < \frac{2}{5}\\ 5 & \frac{2}{5} \leq t < \frac{3}{5}\\ 7 & \frac{3}{5} \leq t < \frac{4}{5}\\ 9 & \frac{4}{5} \leq t \leq 1 \end{cases}$

La raison pour laquelle nous passons aux fonctions et mesurons la théorie est que nous devons avoir un moyen systématique de discuter de la façon dont deux espaces de probabilité sont identiques jusqu'aux événements qui n'ont aucune chance de se produire. Maintenant que nous sommes passés aux fonctions, nous avons besoin d'un sens de la distance.

| | Oui | |_{p} = {(\int_{0}^{1} | Oui (t) |^{p} ré t)}^{1 / p}

$||Y||_p = \left(\int_{0}^1|Y(t)|^pdt\right)^{1/p}$

Y : [0, 1] \to R

$Y: [0,1] \rightarrow \mathbb{R}$

1 \leq p < \infty

$1 \leq p < \infty$

d_{p} (Y, Z) = | | X - Z | |_{p}

$d_p(Y,Z) = ||X - Z||_p$

$p=1$

{ré}_{1} (X, 5) = | | X - \underline{5} | |_{1} = 2.4.

$d_1(X,5) = ||X - \underline{5} ||_1 = 2.4.$

p = 2

$p=2$

{ré}_{2} (X, 5) = | | X - \underline{5} | |_{2} = 2,83.

$d_2(X,5) = ||X-\underline{5}||_2 = 2.83.$

$\underline{5}$ $t \mapsto 5$ .

$d_2$

— SomeEE
source

[0, 1]

$[0,1]$

X : {1, 3, 5, 7, 9} \to R

$X:\{1,3,5,7,9\}\to\mathbb{R}$

X (i) = i

$X(i)=i$

{1, 3, 5, 7, 9}

$\{1,3,5,7,9\}$

| | X - 5 | |_{1}

$||X-5||_1$

5

$5$

Oui, la variable aléatoire que vous avez indiquée est standard pour ceux qui sont à l'aise avec la théorie des mesures. J'espérais le réduire à la compréhension des fonctions et de l'intégration pour les personnes n'ayant qu'une formation en calcul. Je vais réécrire la moyenne en fonction.

— SomeEE

d_{2}

$d_2$

L^{2}

$L^2$

d_{2}

$d_2$