Calcul du nouvel écart-type à l'aide de l'ancien écart-type après modification de l'ensemble de données

J'ai un tableau de $n$ valeurs réelles, qui a la moyenne $\mu_{old}$ et l'écart type $\sigma_{old}$ . Si un élément du tableau $x_i$ est remplacé par un autre élément $x_j$ , alors la nouvelle moyenne sera

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

L'avantage de cette approche est qu'elle nécessite un calcul constant quelle que soit la valeur de $n$ . Existe-t-il une approche pour calculer $\sigma_{new}$ utilisant $\sigma_{old}$ comme le calcul de $\mu_{new}$ utilisant $\mu_{old}$ ?

standard-deviation online

— utilisateur
source

Est-ce des devoirs? Une tâche très similaire a été demandée dans notre cours de statistique mathématique ...

— krlmlr

@ user946850: Non, ce ne sont pas des devoirs. Je mène ma thèse sur l' algorithme évolutionnaire . Je veux utiliser l'écart-type comme mesure de la diversité de la population. Je cherche juste une solution plus efficace.

— utilisateur

La SD est la racine carrée de la variance, qui est juste la valeur quadratique moyenne (ajustée par un multiple de la moyenne quadratique, que vous savez déjà comment mettre à jour). Par conséquent, les mêmes méthodes utilisées pour calculer une moyenne mobile peuvent être appliquées sans aucun changement fondamental pour calculer une variance courante. En fait, des statistiques beaucoup plus sophistiquées peuvent être calculées en ligne en utilisant les mêmes idées: voir les discussions sur stats.stackexchange.com/questions/6920 et stats.stackexchange.com/questions/23481 , par exemple.

— whuber

@whuber: Ceci est mentionné dans l'article Wikipedia pour Variance , mais aussi avec une note sur l'annulation catastrophique (ou la perte de signification) qui peut survenir. Est-ce surestimé ou un vrai problème pour la variance en cours?

— krlmlr

Voilà une excellente question. Si vous accumulez les écarts naïvement, sans les centrer au préalable, vous pouvez en effet avoir des ennuis. Le problème se produit lorsque les nombres sont énormes mais que leur variance est faible. Par exemple, considérons une série de mesures précises de la vitesse de la lumière en m / s, comme dans 299792458.145, 299792457.883, 299792457.998, ...: leur variance, qui est d'environ 0,01, est si petite par rapport à leurs carrés, qui est d'environ

, qu'un calcul imprudent (même en double précision) entraînerait une variance nulle: tous les chiffres significatifs disparaîtraient.

10^{17}

$10^{17}$

— whuber

Réponses:

Une section de l'article de Wikipédia sur "Algorithmes de calcul de la variance" montre comment calculer la variance si des éléments sont ajoutés à vos observations. (Rappelez-vous que l'écart-type est la racine carrée de la variance.) Supposons que vous ajoutez à votre tableau, puis $x_{n+1}$

σ_{n e w}^{2} = σ_{o l d}^{2} + (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

EDIT : La formule ci-dessus semble être erronée, voir le commentaire.

Maintenant, remplacer un élément signifie ajouter une observation et en supprimer une autre; les deux peuvent être calculés avec la formule ci-dessus. Cependant, gardez à l'esprit que des problèmes de stabilité numérique peuvent survenir; l'article cité propose également des variantes numériquement stables.

Pour dériver la formule par vous-même, calculez utilisant la définition de la variance de l'échantillon et remplacez par la formule que vous avez donnée le cas échéant. Cela vous donne à la fin, et donc une formule pour étant donné et $(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$ $\mu_{new}$ $\sigma_{new}^2 - \sigma_{old}^2$ $\sigma_{new}$ $\sigma_{old}$ . Dans ma notation, je suppose que vous remplacez l'élément $\mu_{old}$ par : $x_n$ $x_n'$

\begin{array}{rcl} σ^{2} & = & (n - 1)^{- 1} \sum_{k} (x_{k} - μ)^{2} \\ (n - 1) (σ_{n e w}^{2} - σ_{o l d}^{2}) & = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{n e w})^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{n e w})^{2} - (x_{n} - μ_{o l d})^{2}) \\ = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{n} - μ_{o l d})^{2}) \end{array}

$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\$

The $x_k$ in the sum transform into something dependent of $\mu_{old}$ , but you'll have to work the equation a little bit more to derive a neat result. This should give you the general idea.

— krlmlr
source

the first formula you gave does not seem correct, well it means that if the

x_{n + 1}

$x_{n+1}$ is smaller/larger then from both new and old mean, the variance always increases, which does not make any sense. It may increase or decrease depending on the distribution.

— Emmet B

@EmmetB: Yes, you're right -- this should probably be

σ_{n e w}^{2} = \frac{n - 1}{n} σ_{o l d}^{2} + \frac{1}{n} (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$ Unfortunately, this renders void my whole discussion from there, but I'm leaving it for historic purposes. Feel free to edit, though.

— krlmlr

Based on what i think i'm reading on the linked Wikipedia article you can maintain a "running" standard deviation:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

Although in the article they don't maintain a separate running sum and count, but instead have the single mean. Since in thing i'm doing today i keep a count (for statistical purposes), it is more useful to calculate the means each time.

— Ian Boyd
source

Given original $\bar x$ , $s$ , and $n$ , as well as the change of a given element $x_n$ to $x_n'$ , I believe your new standard deviation $s'$ will be the square root of

s^{2} + \frac{1}{n - 1} (2 n Δ \bar{x} (x_{n} - \bar{x}) + n (n - 1) (Δ \bar{x})^{2}),

$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$ where

Δ \bar{x} = {\bar{x}}^{'} - \bar{x}

$\Delta \bar x = \bar x' - \bar x$ , with

{\bar{x}}^{'}

$\bar x'$ denoting the new mean.

Maybe there is a snazzier way of writing it?

I checked this against a small test case and it seemed to work.

— Whistling in the Dark
source

@john / whistling in the Dark: I liked your answer, it seems work properly in my small dataset. Is there any mathematical foundation/reference on it? Could you kindly help?

— Alok Chowdhury

The question was all @Whistling in the Dark, I just cleaned it up for the site. You should pose a new question referencing the question and answer here. And also you should upvote this answer if you feel that way.

— John