Calcul de l'erreur standard dans l'estimation moyenne pondérée

Supposons que $w_1,w_2,\ldots,w_n$ et $x_1,x_2,...,x_n$ sont chacun tirés iid de certaines distributions, avec $w_i$ indépendant de $x_i$ . Les sont strictement positifs. Vous observez tous les , mais pas les ; vous observez plutôt . Je souhaite estimer $w_i$ $w_i$ $x_i$ $\sum_i x_i w_i$ $\operatorname{E}\left[x\right]$ à partir de ces informations. Il est clair que l'estimateur est sans biais et peut être calculé en fonction des informations disponibles.

\bar{x} = \frac{\sum_{i} w_{i} x_{i}}{\sum_{i} w_{i}}

$\bar{x} = \frac{\sum_i w_i x_i}{\sum_i w_i}$

Comment puis-je calculer l'erreur-type de cet estimateur? Pour le sous-cas où ne prend que les valeurs 0 et 1, j'ai naïvement essayé ignorant fondamentalement la variabilité du , mais a constaté que cela fonctionnait mal pour des tailles d'échantillon inférieures à environ 250. (Et cela dépend probablement de la variance du .) Il semble que je n'ai peut-être pas assez d'informations pour calculer une erreur standard «meilleure». $x_i$

s e \approx \frac{\sqrt{\bar{x} (1 - \bar{x}) \sum_{i} w_{i}^{2}}}{\sum_{i} w_{i}},

$se \approx \frac{\sqrt{\bar{x}(1-\bar{x})\sum_i w_i^2}}{\sum_i w_i},$

w_{i}

$w_i$

w_{i}

$w_i$

standard-error weighted-mean

— shabbychef
source

Réponses:

J'ai rencontré le même problème récemment. Voici ce que j'ai trouvé:

Contrairement à un échantillon aléatoire simple avec des poids égaux, il n'y a pas de définition largement acceptée de l'erreur-type de la moyenne pondérée . De nos jours, il serait simple de faire un bootstrap et d'obtenir la distribution empirique de la moyenne, et sur la base de cette estimation, l'erreur standard.

Et si on voulait utiliser une formule pour faire cette estimation?

La référence principale est cet article de Donald F. Gatz et Luther Smith, où 3 estimateurs basés sur une formule sont comparés aux résultats du bootstrap. La meilleure approximation du résultat du bootstrap provient de Cochran (1977):

$(SEM_w)^2={\dfrac{n}{(n-1)(\sum {P_i})^2}}[\sum (P_i X_i-\bar{P}\bar{X}_w)^2-2 \bar{X}_w \sum (P_i-\bar{P})(P_i X_i-\bar{P}\bar{X}_w)+\bar{X}^2_w \sum (P_i-\bar{P})^2]$

Ce qui suit est le code R correspondant qui venait de ce fil R listserve .

weighted.var.se <- function(x, w, na.rm=FALSE)
#  Computes the variance of a weighted mean following Cochran 1977 definition
{
  if (na.rm) { w <- w[i <- !is.na(x)]; x <- x[i] }
  n = length(w)
  xWbar = weighted.mean(x,w,na.rm=na.rm)
  wbar = mean(w)
  out = n/((n-1)*sum(w)^2)*(sum((w*x-wbar*xWbar)^2)-2*xWbar*sum((w-wbar)*(w*x-wbar*xWbar))+xWbar^2*sum((w-wbar)^2))
  return(out)
}

J'espère que cela t'aides!

— Ming K
source

C'est assez cool, mais pour mon problème je n'observe même pas le

, j'observe plutôt la somme

. Ma question est très bizarre car elle implique une certaine asymétrie d'information (un tiers rapporte la somme et essaie peut-être de cacher certaines informations).

P_{i} X_{i}

$P_iX_i$

\sum_{i} P_{i} X_{i}

$\sum_i P_iX_i$

— shabbychef

Mon Dieu, vous avez raison, désolé, je n'ai pas bien compris la question que vous avez posée. Supposons que nous résumions votre problème dans le cas le plus simple où tous les

sont Bernoulli RV. Ensuite, vous observez essentiellement la somme d'un sous-ensemble aléatoire de

RV. Je suppose qu'il n'y a pas beaucoup d'informations ici pour estimer. Alors, qu'avez-vous fini par faire pour votre problème d'origine?

w_{i}

$w_i$

n

$n$

— Ming K

@ Ming-ChihKao, cette formule de Cochran est intéressante mais si vous construisez un intervalle de confiance à partir de cela lorsque les données ne sont pas normales, il n'y a pas d'interprétation cohérente correcte? Comment géreriez-vous les intervalles de confiance moyens moyens pondérés non normaux? Quantiles pondérés?

— user3022875

Je pense qu'il y a une erreur avec la fonction. Si vous remplacez w=rep(1, length(x)), alors weighted.var.se(rnorm(50), rep(1, 50))c'est à peu près 0.014. Je pense que la formule manque un sum(w^2)dans le numérateur, depuis quand P=1, la variance est 1/(n*(n-1)) * sum((x-xbar)^2). Je ne peux pas vérifier l'article cité car il est derrière un mur payant, mais je pense que cette correction. Curieusement, la solution (différente) de Wikipédia devient dégénérée lorsque tous les poids sont égaux: en.wikipedia.org/wiki/… .

— Max Candocia

Ceux-ci peuvent mieux fonctionner en général: analytiquegroup.com/download/WEIGHTED_MEAN.pdf

— Max Candocia

$w_i$

\frac{\sum w_{i}^{2} V a r (X)}{(\sum w_{i})^{2}} = V a r (X) \frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}} .

$\frac{\sum w_i^2 Var(X)}{(\sum w_i)^2} = Var(X) \frac{\sum w_i^2 }{(\sum w_i)^2}.$

w_{i}

$w_i$

V a r (X) E (\frac{\sum w_{i}^{2}}{(\sum w_{i})^{2}})

$Var(X) \mathbb{E}\left(\frac{\sum w_i^2 }{(\sum w_i)^2}\right)$

X_{i}

$X_i$

V a r (X)

$Var(X)$

— client
source

x_{i}

$x_i$

x

$x$

\bar{x} (1 - \bar{x})

$\bar{x}(1-\bar{x})$