Variance de la moyenne pondérée supérieure à la moyenne non pondérée

Un de mes critiques demande pourquoi j'ai utilisé des données non pondérées, au lieu de données pondérées. J'ai discuté de la question avec un statisticien et sa réponse allait dans le sens de

Si vous avez des observations indépendantes et que vous prenez la moyenne globale, sa variance est toujours inférieure à la variance d'une moyenne pondérée comme estimateur. ... Les intervalles de confiance seront donc élargis!

Depuis, j'ai trouvé la question suivante sur ce site Web, et d'après ce que je comprends, ils suggèrent que l'écart devrait être le même. Quelqu'un peut-il, s'il vous plaît, avec un esprit plus doué statistiquement que le mien, s'il vous plaît confirmer la réponse du statisticien et expliquer en termes simples la théorie, ou avec un exemple concret.

variance weighted-mean weighted-data

— user08041991
source

Si les "poids" sont en fait des fréquences d'observation ou de population, alors ils doivent être utilisés, car les nombres non pondérés n'ont pas de sens. La citation de votre statisticien est probablement vraie pour une population avec une distribution unimodale, bien qu'elle ne soit pas nécessairement vraie en général.

— Henry

Il serait assez facile de fournir un exemple concret avec plus de contexte. Que représentent les poids? Parlez-vous de la variance de la moyenne de l'échantillon? Les échantillons proviennent-ils d'une population finie? Avec ou sans remplacement?

— Henry

Disons que nous avons collecté une série de mesures de fréquence cardiaque à partir d'un échantillon de personnes dans un hôpital. Un facteur de pondération peut ensuite être appliqué à chaque individu pour mettre à l'échelle les mesures afin de refléter les estimations nationales ou la population - en comparant une série de facteurs de confusion (par exemple, l'âge, la taille, le poids, etc.).

— user08041991

La question à laquelle vous vous connectez concerne les pondérations de fréquence. C'est ça que tu as?

— mdewey

La moyenne de

n

$n$ valeurs

x_{i}

$x_i$ est la moyenne pondérée

\bar{x} = \sum_{i} w_{i} x_{i}

$\bar x=\sum_iw_ix_i$ avec des poids

w_{i} = 1 / n

$w_i=1/n$ . Quand le

x_{i}

$x_i$ sont des règles de variance de base indépendantes

\begin{matrix} (1) & Var (\bar{X}) = \sum_{je} w_{je}^{2} Var (X_{je}) . \end{matrix}

$\operatorname{Var}(\bar x) =\sum_iw_i^2 \operatorname{Var}(x_i).\tag{1}$ Quand en plus le

x_{i}

$x_i$ ont tous la même variance

σ^{2}

$\sigma^2$ , cela simplifie

\sum w_{i}^{2}

$\sum w_i^2$ fois

σ^{2}

$\sigma^2$ . Puisque les poids sont positifs et totalisent l'unité,

(1)

$(1)$ est minimisé uniquement lorsque

w_{i} = 1 / n

$w_i=1/n$ . En ce sens, le statisticien a raison. Cette conclusion générale est indépendante de toute autre propriété de la distribution des

x_{i}

$x_i$ , comme l'unimodalité.

— whuber

Réponses:

Votre question liée concerne l'utilisation de pondérations comme raccourci pour traiter la variance par point de données pondérée de manière égale dans laquelle certains points de données se produisent plusieurs fois.

@whuber a abordé dans un commentaire la situation dans laquelle les variances de tous les points de données sont égales. Je vais donc aborder la situation dans laquelle ils ne sont pas égaux. C'est dans cette situation que la moyenne pondérée optimale produit une variance inférieure à la moyenne non pondérée, c'est-à-dire également pondérée.

La moyenne pondérée, en utilisant des poids $w_i$ , équivaut à $\Sigma_{i=1}^n{w_i x_i}$ , et a une variance = $\Sigma_{i=1}^n{w_i^2 Var(x_i)}$ . Nous souhaitons donc minimiser $\Sigma_{i=1}^n{w_i^2 Var(x_i)}$ , sujet à $\Sigma_{i=1}^n{w_i} = 1$ et $w_i \ge 0$ pour tous i.

Les conditions de Karush-Kuhn-Tucker, qui sont nécessaires et suffisantes pour un minimum global pour ce problème, étant donné qu'il s'agit d'un problème de programmation quadratique convexe, conduisent à une solution de forme fermée, à savoir:

L'optimale $w_i = [1/Var(x_i)]/\Sigma_{j=1}^n{[1/Var(x_j)]}$ pour 1 = 1 .. n.

La variance de la moyenne pondérée optimale correspondante = $1/\Sigma_{i=1}^n{[1/Var(x_i)]}$ .

En revanche, une pondération égale signifie $w_i = \frac{1}{n}$ pour tout i, où n est le nombre de points de données. Comme l'a souligné whuber, des poids égaux sont optimaux si toutes les variances de points de données sont égales, ce qui peut être vu à partir de la formule ci-dessus $w_i$ . Cependant, comme le montre cette formule, des poids égaux ne sont pas optimaux si les variances des points de données ne sont pas toutes égales, et entraînent en effet une variance plus grande (de la moyenne pondérée) que les poids optimaux. La variance de la moyenne pondérée de façon égale, c'est-à-dire la variance de la moyenne pondérée en utilisant des poids égaux = $\frac{1}{n^2}\Sigma_{i=1}^n{Var(x_i)}$ .

Voici quelques exemples de résultats numériques:

Il y a deux points de données, ayant des variances respectivement de 1 et 4. La moyenne non pondérée a une variance = 1,25. La moyenne pondérée utilisant les poids optimaux de 0,8 et 0,2 respectivement, a une variance = 0,8, qui est bien sûr inférieure à 1,25.
Il y a trois points de données, ayant des variances respectivement de 1, 4 et 9. La moyenne non pondérée a une variance = 1,5556. La moyenne pondérée utilisant les poids optimaux de 0,7347, 0,1837, 0,0816 respectivement, a une variance = 0,7347, qui est bien sûr inférieure à 1,5556.

Bien sûr, il est possible que la moyenne pondérée présente une variance plus grande que la moyenne non pondérée, si les poids sont mal choisis. En choisissant le poids de 1 sur le point de données présentant la plus grande variance et de 0 pour tous les autres points de données, la moyenne pondérée aurait la variance = la plus grande variance de tout point de données. Cet exemple extrême serait le résultat de la maximisation plutôt que de la minimisation du problème d'optimisation que j'ai exposé.

— Mark L. Stone
source

Je suis confus au sujet de votre référence à des points de données individuels présentant une variance (par exemple, il y a deux points de données, ayant respectivement des variances de 1 et 4), pouvez-vous expliquer?

— edstatsuser

Dire un point de données

x_{i}

$x_i$ a une variance particulière est raccourci pour dire que

x_{i}

$x_i$ est tiré d'une population (variable aléatoire) qui présente cette variance. Ainsi, les différents points de données peuvent être tirés de différentes populations, car il ne s'agit pas d'un échantillonnage iid.

— Mark L. Stone

Voici un exemple simple utilisant le $\frac1n\sum_i\left(x_i-\frac1n\sum_j x_j\right)^2$ et $\frac1{\sum_k w_k}\sum_i w_i\left(x_i-\frac1{\sum_k w_k}\sum_j w_j x_j\right)^2$ formes de la variance:

Supposons que votre population ait des mesures $20,30,40,50$ .

Non pondérée, la moyenne est $35$ et la variance est $125$
Avec des poids respectifs $1000,4000,3000,2000$ la moyenne pondérée est $36$ et la variance pondérée est $84$
Avec des poids respectifs $3000,2000,1000,4000$ la moyenne pondérée est $36$ et la variance pondérée est $164$

Cet exemple est conforme à mon commentaire selon lequel la citation de votre statisticien est probablement vraie pour une population avec une distribution unimodale, bien qu'elle ne soit pas nécessairement vraie en général.

Je suppose que le fait est que si vous citez la moyenne pondérée, vous devriez probablement l'associer à la variance pondérée. Si en fait votre moyenne est le résultat de l'échantillon, l'erreur type de la moyenne de l'échantillon pondéré est un calcul plus compliqué.

— Henri
source

Cette réponse semble confondre la variance d'un échantillon (ou population finie) avec la variance de la distribution d'échantillonnage de la moyenne (ou moyenne pondérée). Par conséquent, il comprend des déclarations qui ne semblent pas être vraies et peuvent être trompeuses.

— whuber