Est-il possible de trouver l'écart type combiné?

Supposons que j'ai 2 jeux:

Ensemble A : nombre d'éléments , , $n= 10$ $\mu = 2.4$ $\sigma = 0.8$

Ensemble B : nombre d'éléments , , $n= 5$ $\mu = 2$ $\sigma = 1.2$

Je peux trouver la moyenne combinée ( ) facilement, mais comment suis-je censé trouver l'écart type combiné? $\mu$

standard-deviation

— kype
source

fr.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Chris

Donc, si vous souhaitez simplement réunir deux de ces échantillons, vous avez:

$s_1 = \sqrt{\frac{1}{n_1}\Sigma_{i = 1}^{n_1} (x_i - \bar{y}_1)^2}$

$s_2 = \sqrt{\frac{1}{n_2}\Sigma_{i = 1}^{n_2} (y_i - \bar{y}_2)^2}$

où et sont des exemples de moyennes et et sont des exemples d'écarts-types. $\bar{y}_1$ $\bar{y}_2$ $s_1$ $s_2$

Pour les additionner vous avez:

$s = \sqrt{\frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} (z_i - \bar{y})^2}$

ce qui n’est pas si simple puisque la nouvelle moyenne est différente de et : $\bar{y}$ $\bar{y}_1$ $\bar{y}_2$

$\bar{y} = \frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} z_i = \frac{n_1 \bar{y}_1 + n_2 \bar{y}_2}{n_1 + n_2}$

La formule finale est la suivante:

$s = \sqrt{\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }}$

Pour la version de l'écart type généralement corrigée par Bessel (" dénominateur "), les résultats pour les moyennes sont les mêmes que précédemment, mais $n-1$

$s = \sqrt{\frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2 + n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1+n_2 - 1} }$

Vous pouvez lire plus d'informations ici: http://en.wikipedia.org/wiki/Standard_deviation

— sashkello
source

Si le PO utilise la version de l'écart type de l'échantillon corrigée par Bessel ( dénominateur pour la variance) (comme le feront presque tous ceux qui le demandent ici), cette réponse ne leur donnera pas tout à fait ce qu'ils recherchent.

n - 1

$n-1$

— Glen_b -Reinstate Monica

Dans ce cas, cette section fait l'affaire. (éditer pour faire un lien vers l'ancienne version de wikipedia puisqu'elle a été retirée de la nouvelle)

— Glen_b -Reinstate Monica

@Glen_b Bonne prise. Pouvez-vous modifier ceci dans la réponse pour le rendre plus utile alors?

— Sashkello

Je suis allé sur Wikipedia pour trouver la preuve, mais malheureusement cette formule n’est plus là. Vous souhaitez élaborer (la preuve) ou améliorer Wikipedia? :)

— Rauni Lillemets

@RauniLillemets see en.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Chris

Cela s'étend évidemment aux groupes : $K$

s = \sqrt{\frac{\sum_{k = 1}^{K} (n_{k} - 1) s_{k}^{2} + n_{k} ({\bar{y}}_{k} - \bar{y})^{2}}{(\sum_{k = 1}^{K} n_{k}) - 1}}

$s = \sqrt{ \frac{\sum_{k=1}^K (n_k-1)s_k^2 + n_k(\bar{y}_k-\bar{y})^2} {(\sum_{k=1}^K n_k) -1} }$

— Ravi Varadhan
source

C'est un peu bref par rapport aux normes. Pourriez-vous en dire un peu plus sur la façon dont cela est dérivé et pourquoi c'est la bonne réponse?

— Sycorax dit de réintégrer Monica le

J'ai eu le même problème: avoir l'écart-type, les moyennes et les tailles de plusieurs sous-ensembles avec une intersection vide, calculez l'écart-type de l'union de ces sous-ensembles.

J'aime la réponse de sashkello et Glen_b ♦ , mais je voulais en trouver une preuve. Je l'ai fait de cette façon et je le laisse ici au cas où cela pourrait aider quelqu'un.

L’objectif est donc de voir que:

s = {(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2}

$s = \left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2}$

Pas à pas:

{(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i} - \bar{y_{1}})^{2} + \sum_{i = 1}^{n_{2}} (y_{i} - \bar{y_{2}})^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} ((x_{i} - \bar{y_{1}})^{2} + ({\bar{y}}_{1} - \bar{y})^{2}) + \sum_{i = 1}^{n_{2}} ((y_{i} - \bar{y_{2}})^{2} + ({\bar{y}}_{2} - \bar{y})^{2})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{1}}}^{2} - 2 x_{i} \bar{y_{1}} - 2 \bar{y_{1}} \bar{y})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{2}}}^{2} - 2 y_{i} \bar{y_{2}} - 2 \bar{y_{2}} \bar{y})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} \sum_{i = 1}^{n_{1}} x_{i}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} \sum_{i = 1}^{n_{2}} y_{i}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} n_{1} \bar{y_{1}}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} n_{2} \bar{y_{2}}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}})}{n_{1} + n_{2}})}^{1 / 2}

$\left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}(x_i - \bar{y_1})^2 + \sum_{i=1}^{n_2}(y_i - \bar{y_2})^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left((x_i - \bar{y_1})^2 + (\bar{y}_1-\bar{y})^2\right) + \sum_{i=1}^{n_2}\left((y_i - \bar{y_2})^2 + (\bar{y}_2-\bar{y})^2\right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 + 2\bar{y_1}^2 -2x_i\bar{y_1} -2\bar{y_1}\bar{y} \right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 + 2\bar{y_2}^2 -2y_i\bar{y_2} -2\bar{y_2}\bar{y} \right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}\sum_{i=1}^{n_1}x_i}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}\sum_{i=1}^{n_2}y_i}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}n_1\bar{y_1}}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}n_2\bar{y_2}}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right)}{n_1 + n_2}\right)^{1/2}$

Maintenant, l’astuce consiste à réaliser que nous pouvons réorganiser les sommes: étant donné que chaque terme terme apparaît fois, nous pouvons écrivez le numérateur sous la forme

- 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}

$-2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}$

n_{1}

$n_1$

\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} x_{i}),

$\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}x_i\right),$

et par conséquent, continuons avec la chaîne d'égalité:

= {(\frac{\sum_{i = 1}^{n_{1}} {(x_{i} - \bar{y})}^{2}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} {(y_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1} + n_{2}} {(z_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = s ◻

$= \left(\frac{\sum_{i=1}^{n_1}\left(x_i - \bar{y}\right)^2}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1 + n_2}\left(z_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = s \qquad \square$

Cela dit, il existe probablement un moyen plus simple de procéder.

La formule peut être étendue à sous-ensembles, comme indiqué précédemment. La preuve serait l'induction sur le nombre de jeux. Le cas de base est déjà prouvé et pour l'étape d'induction, vous devez appliquer une chaîne d'égalité similaire à cette dernière. $k$

— iipr
source

Je ne vois pas comment la question est claire. Les deux ensembles de données sont-ils supposés provenir de la même distribution? Le PO dispose-t-il des observations réelles ou uniquement des estimations de l'écart moyen et de l'écart type?

— Michael R. Chernick

Oui, ils sont supposés provenir de la même distribution. Les observations ne sont pas disponibles, mais seulement la moyenne et l'écart type des sous-ensembles.

— iipr

Alors pourquoi utiliser une formule qui implique les observations individuelles?

— Michael R. Chernick

Peut-être que ma réponse n'est pas claire. Je poste simplement une preuve mathématique de la formule ci-dessus qui permet de calculer à spartir des écarts-types, des moyennes et des tailles de deux sous-ensembles. Dans la formule, il n'y a aucune référence aux observations individuelles. Dans la preuve il y a, mais c'est juste une preuve, et de mon point de vue, correct.

— iipr