La moyenne de l'échantillon est-elle la «meilleure» estimation de la moyenne de distribution dans un certain sens?

Par la loi (faible / forte) des grands nombres, étant donné certains points d'échantillonnage iid d'une distribution, leur moyenne d'échantillon converge vers la moyenne de distribution en probabilité et en tant que taille d'échantillon va à l'infini. $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Lorsque la taille de l'échantillon est fixe, je me demande si l'estimateur LLN est le meilleur estimateur dans un certain sens? Par exemple, $N$ $f^*$

son attente est la moyenne de distribution, c'est donc un estimateur non biaisé. Sa variance est où est la variance de distribution. Mais est-ce UMVU? $\frac{\sigma^2}{N}$ $\sigma^2$
existe-t-il une fonction telle que résoudre le problème de minimisation: $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ $f^*(\{x_i, i=1,\ldots,N\})$
$f^{*} ({x_{i}, i = 1, \dots, N}) = {argmin}_{u \in R^{n}} \sum_{i = 1}^{N} l_{0} (x_{i}, u) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
En d'autres termes, est la meilleure fonction de contraste dans le cadre de contraste minimum (cf. Section 2.1 "Heuristique de base de l'estimation" dans " Statistiques mathématiques: idées de base et sujets sélectionnés, Volume 1 " par Bickle et Doksum). $f^*$ $l_0$

Par exemple, si la distribution est connue / restreinte pour être de la famille des distributions gaussiennes, alors la moyenne de l'échantillon sera l'estimateur MLE de la moyenne de distribution, et MLE appartient au cadre de contraste minimum, et sa fonction de contraste est moins la probabilité logarithmique une fonction. $l_0$
existe-t-il une fonction telle que résout le problème de minimisation: pour toute distribution de au sein d'une famille de distributions? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{i}, i = 1, \dots, N} each with distribution P} l (f ({x_{i}, i = 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
En d'autres termes, est la meilleure par rapport à une fonction perdue et à une famille de distributions dans le cadre théorique de décision (cf. Section 1.3 "Le cadre théorique de décision" dans " Statistiques mathématiques: idées de base et sujets choisis, Volume 1 " par Bickle et Doksum). $f^*$ $l$ $F$

Notez que ce qui précède sont trois interprétations différentes pour une "meilleure" estimation que j'ai connue jusqu'à présent. Si vous connaissez d'autres interprétations possibles qui peuvent s'appliquer à l'estimateur LLN, n'hésitez pas à le mentionner également.

estimation expected-value law-of-large-numbers

— Tim
source

Une autre façon de caractériser un estimateur: Veuillez lire ici sur Estimateur cohérent . La moyenne de l'échantillon est cohérente en raison du LLN.

— Rohit Banga

La moyenne de l'échantillon a de nombreuses propriétés intéressantes et intéressantes, mais parfois elles ne sont pas les meilleures que l'on puisse avoir dans une situation particulière. Un exemple est les cas où le support de la distribution dépend de la valeur du paramètre. Considérons , puis est un estimateur non biaisé de la la moyenne de distribution mais ce n'est pas l'UMVUE, par exemple, les estimations non biaisées basées sur la statistique d'ordre le plus grand auront une variance plus petite que la moyenne de l'échantillon.

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— VitalStatistix

Merci! Mais comment sa variance est-elle calculée?

— Tim

Le pdf de , la plus grande statistique d'ordre est donnée par, , donc la variance de l'estimateur sans biais sera, , c'est-à-dire que la variance est de l'ordre de , par rapport à la variance de la moyenne de l'échantillon qui est de l'ordre .

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— VitalStatistix

@VitalStatistix, est-ce que je manque complètement quelque chose ici? Si les variables sont uniformes sur leur moyenne d'échantillon a une attente , alors ne voulez-vous pas multiplier par 2 pour obtenir un estimateur non biaisé de ?

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH

La réponse à votre deuxième question est oui: la moyenne de l'échantillon est un estimateur de contraste minimum lorsque votre fonction est , lorsque x et u sont des nombres réels, ou , lorsque x et u sont vecteurs de colonne. Cela découle de la théorie des moindres carrés ou du calcul différentiel. $l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Un estimateur de contraste minimum est, dans certaines conditions techniques, à la fois cohérent et asymptotiquement normal. Pour la moyenne de l'échantillon, cela découle déjà du LLN et du théorème de la limite centrale. Je ne sais pas si les estimateurs de contraste minimum sont "optimaux" en aucune façon. Ce qui est bien avec les estimateurs de contraste minimum, c'est que de nombreux estimateurs robustes (par exemple la médiane, les estimateurs de Huber, les quantiles d'échantillonnage) entrent dans cette famille, et nous pouvons conclure qu'ils sont cohérents et asymptotiquement normaux simplement en appliquant le théorème général pour les estimateurs de contraste minimum, donc tant que nous vérifions certaines conditions techniques (bien que souvent cela soit beaucoup plus difficile qu'il n'y paraît).

Une notion d'optimalité que vous ne mentionnez pas dans votre question est l'efficacité qui, en gros, concerne la taille d'un échantillon dont vous avez besoin pour obtenir une estimation d'une certaine qualité. Voir http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency pour une comparaison de l'efficacité de la moyenne et de la médiane (la moyenne est plus efficace, mais la médiane est plus robuste aux valeurs aberrantes).

Pour la troisième question, sans aucune restriction sur l'ensemble des fonctions f sur lesquelles vous trouvez l'argmin, je ne pense pas que la moyenne de l'échantillon sera optimale. Pour toute distribution P, vous pouvez fixer f comme étant une constante qui ignore les et minimise la perte pour le P. particulier. La moyenne de l'échantillon ne peut pas battre cela. $x_i$

L'optimalité Minimax est une condition plus faible que celle que vous donnez: au lieu de demander que soit la meilleure fonction pour tout d'une classe, vous pouvez demander à avoir les meilleures performances dans le pire des cas. Autrement dit, entre l'argmin et l'attente, mettez un . Optimalité bayésienne est une autre approche: mettre une distribution avant le , et prendre l'attente sur ainsi que l'échantillon de . $f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
source

Merci! Existe-t-il de bonnes références sur les propriétés de l'estimateur à contraste minimum, telles que cohérentes et asymptotiquement normales, ainsi que des exemples tels que la médiane, les estimateurs de Huber, les quantiles d'échantillonnage?

— Tim

La section 5.2.2 du livre Bickel & Doksum que vous citez contient un théorème sur la cohérence des estimateurs de contraste minimum. La section 5.4.2 discute de la normalité asymptotique. Une autre source que je recommande, et qui discute des autres estimateurs que je mentionne, est le livre des statistiques asymptotiques de van der Vaart . Le chapitre 5 est consacré aux estimateurs M, qui est son nom pour les estimateurs à contraste minimum.

— DavidR

Merci! La norme de votre premier paragraphe est-elle arbitraire sur ou doit-elle être la norme ?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Tim

Je veux dire la norme euclidienne standard - je l'ai changé en notation vectorielle pour clarifier.

— DavidR

DavidR, merci! (1) En ce qui concerne la partie 3 de mon article, je me demande si la moyenne de l'échantillon, c'est-à-dire l'estimateur LLN, peut s'intégrer dans le cadre théorique de décision pour une fonction de perte ? (2) J'ai l'impression que tous les estimateurs, tels que MLE et Least Square Estimator, s'inscrivent dans le cadre de contraste minimum, mais pas dans le cadre théorique de décision. Le cadre théorique de décision n'est-il donc pas utilisé pour construire des estimateurs, mais uniquement pour les évaluer?

l

$l$

— Tim