Calcul de la taille d'échantillon requise, estimation de la précision de la variance?

18

Contexte

J'ai une variable avec une distribution inconnue.

J'ai 500 échantillons, mais je voudrais démontrer la précision avec laquelle je peux calculer la variance, par exemple pour affirmer qu'une taille d'échantillon de 500 est suffisante. Je souhaite également connaître la taille minimale de l'échantillon qui serait nécessaire pour estimer la variance avec une précision de . $X\%$

Des questions

Comment puis-je calculer

la précision de mon estimation de la variance étant donné un échantillon de ? de ? $n=500$ $n=N$
Comment puis-je calculer le nombre minimum d'échantillons requis pour estimer la variance avec une précision de ? $X$

Exemple

Figure 1: estimation de la densité du paramètre sur la base des 500 échantillons.

entrez la description de l'image ici

Figure 2 Voici un graphique de la taille de l'échantillon sur l'axe des x par rapport aux estimations de la variance sur l'axe des y que j'ai calculées en utilisant des sous-échantillons de l'échantillon de 500. L'idée est que les estimations convergeront vers la vraie variance lorsque n augmentera .

Cependant, les estimations ne sont pas valides indépendamment puisque les échantillons utilisés pour estimer la variance pour ne sont pas indépendants les uns des autres ou des échantillons utilisés pour calculer la variance à $n \in [10,125,250,500]$ $n\in [20,40,80]$

entrez la description de l'image ici

— Abe
source

Sachez simplement que si une composante de votre distribution inconnue est une distribution de Cauchy, la variance n'est pas définie.

— Mike Anderson

@Mike Ou bien un nombre infini d'autres distributions.

— Glen_b -Reinstate Monica

11

Pour les variables aléatoires iid , l'estimateur sans biais pour la variance (celui avec le dénominateur ) a une variance: $X_1, \dotsc, X_n$ $s^2$ $n-1$

V une r (s^{2}) = σ^{4} (\frac{2}{n - 1} + \frac{κ}{n})

$\mathrm{Var}(s^2) = \sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right)$

où est l'excès de kurtosis de la distribution (référence: Wikipedia ). Alors maintenant, vous devez également estimer le kurtosis de votre distribution. Vous pouvez utiliser une quantité parfois décrite comme (également de Wikipédia ): $\kappa$ $\gamma_2$

γ_{2} = \frac{μ_{4}}{σ_{4}} - 3

$\gamma_2 = \frac{\mu_4}{\sigma_4} - 3$

Je suppose que si vous utilisez $s$ comme estimation de $\sigma$ et comme estimation pour , vous obtenez une estimation raisonnable pour , bien que je ne vois aucune garantie qu'il ne soit pas biaisé. Voyez si cela correspond à la variance entre les sous-ensembles de vos 500 points de données, et si cela ne vous inquiète plus :) $\gamma_2$ $\kappa$ $\mathrm{Var}(s^2)$

— Erik P.
source

avez-vous une référence de manuel pour l'estimateur de variance non biaisé? Je ne sais pas où aller de Wikipedia pour plus de contexte.

— Abe

Je n'ai pas mon texte standard Rice avec moi ici, donc je ne peux pas vérifier le numéro de page pour vous, mais je suis sûr qu'il est là. Wikipedia suggère qu'il devrait également être mentionné dans: Montgomery, DC et Runger, GC: Statistiques appliquées et probabilités pour les ingénieurs , page 201. John Wiley & Sons New York, 1994.

— Erik P.

merci pour votre aide. Cette réponse a été très utile et informative pour quantifier l'incertitude de variance - j'ai appliqué l'équation environ 10 fois au cours de la dernière journée. calculer

est facile avec la bibliothèque:

k a p p a

$kappa$ momentslibrary(moments); k <- kurtosis(x); n <- length(x); var(x)^2*(2/(n-1) + k/n)

— Abe

Y a-t-il une chance que vous ayez trouvé le numéro de page du texte Rice? Je ne le trouve pas à Casella et Berger. Une référence principale serait encore meilleure si vous la connaissez. La page wikipedia est notamment non référencée.

— Abe

Hmmm ... on dirait que Rice n'a pas la formule non plus. Je garderai un œil dessus, mais à ce stade, je n'ai pas de référence du tout.

— Erik P.

16

Apprendre une variance est difficile.

Il faut (peut-être de façon surprenante) un grand nombre d'échantillons pour bien estimer une variance dans de nombreux cas. Ci-dessous, je vais montrer le développement du cas "canonique" d'un échantillon normal iid.

Supposons que , sont des variables aléatoires indépendantes . Nous recherchons un intervalle de confiance de pour la variance de telle sorte que la largeur de l'intervalle soit , c'est-à-dire que la largeur soit $Y_i$ $i=1,\ldots,n$ $\mathcal{N}(\mu, \sigma^2)$ $100(1-\alpha)\%$ $\rho s^2$ $100\rho \%$ de l'estimation ponctuelle. Par exemple, si , alors la largeur de l'IC est la moitié de la valeur de l'estimation ponctuelle, par exemple si $\rho = 1/2$ , alors l'IC serait quelque chose comme $s^2 = 10$ , ayant une largeur de 5. Notez également l'asymétrie autour de l'estimation ponctuelle. ( est l'estimateur sans biais de la variance.) $(8,\,13)$ $s^2$

"L'intervalle de confiance" (plutôt "a") pour est $s^2$

\frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} \leq σ^{2} \leq \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}},

$\frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \leq \sigma^2 \leq \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} \>,$ où

est lequantile

de la distribution du chi carré avec

degrés de liberté. (Cela vient du fait que

χ_{(n - 1)}^{2 β}

$\chi_{(n-1)}^{2\;\beta}$

β

$\beta$

n - 1

$n-1$

est une quantité pivot dans un contexte gaussien.)

(n - 1) s^{2} / σ^{2}

$(n-1)s^2/\sigma^2$

Nous voulons minimiser la largeur pour que il nous reste donc à résoudre pour tel que

L (n) = \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{(n - 1) s^{2}}{χ_{(n - 1)}^{2 (1 - α / 2)}} < ρ s^{2},

$L(n) = \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{(n-1) s^2}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} < \rho s^2 \>,$

n

$n$

(n - 1) (\frac{1}{χ_{(n - 1)}^{2 (α / 2)}} - \frac{1}{χ_{(n - 1)}^{2 (1 - α / 2)}}) < ρ .

$(n-1) \left(\frac{1}{\chi_{(n-1)}^{2\;(\alpha/2)}} - \frac{1}{\chi_{(n-1)}^{2\;(1-\alpha/2)}} \right) < \rho .$

Dans le cas d'un intervalle de confiance à 99%, on obtient pour et pour . Ce dernier cas donne un intervalle qui est ( encore! ) 10% aussi grand que l'estimation ponctuelle de la variance. $n = 65$ $\rho = 1$ $n = 5321$ $\rho = 0.1$

Si le niveau de confiance que vous avez choisi est inférieur à 99%, le même intervalle de largeur sera obtenu pour une valeur inférieure de . Mais, peut toujours être plus grand que vous ne l'auriez pensé. $n$ $n$

Un tracé de la taille de l'échantillon fonction de la largeur proportionnelle montre quelque chose qui semble asymptotiquement linéaire sur une échelle log-log; en d'autres termes, une relation de type loi de puissance. Nous pouvons estimer (grossièrement) la puissance de cette relation puissance-loi comme $n$ $\rho$

\hat{α} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{- \log 10}{\log \frac{5231}{65}} \approx - 0.525,

$\hat{\alpha} \approx \frac{\log 0.1 - \log 1}{\log 5321 - \log 65} = \frac{-\log 10}{\log \frac{5231}{65}} \approx -0.525 ,$

ce qui est malheureusement décidément lent!

C'est en quelque sorte le cas «canonique» pour vous donner une idée de la façon de procéder. Sur la base de vos graphiques, vos données ne semblent pas particulièrement normales; en particulier, il y a ce qui semble être une asymétrie notable.

Mais cela devrait vous donner une idée approximative de ce à quoi vous attendre. Notez que pour répondre à votre deuxième question ci-dessus, il est nécessaire de fixer d'abord un certain niveau de confiance, que j'ai défini à 99% dans le développement ci-dessus à des fins de démonstration.

— cardinal
source

c'est une très belle réponse à ma question. Cependant, bien que je suive le calcul que vous faites pour

, je ne sais pas exactement si les unités pour

sont des pourcentages dans la solution

pour

; cela signifie-t-il que "

est inférieur à

" ou "

inférieur à

de

?"

n | ρ

$n|\rho$

r h o

$rho$

n = 65

$n=65$

ρ < 1

$\rho<1$

ρ

$\rho$

1 \times s^{2}

$1\times s^2$

ρ

$\rho$

1 %

$1\%$

s^{2}

$s^2$

— Abe

@Abe, mis à jour et, espérons-le, clarifié au cours du processus. Il y avait une faute de frappe particulièrement mauvaise dans la version précédente. Désolé pour ça.

— Cardinal

une très belle réponse, mais j'ai choisi celle de @Erik car elle est plus applicable à mon problème (car mon paramètre n'est pas normalement distribué).

— Abe

@Abe: Pas de problème. C'est à cela que sert la coche. Ma réponse était (est) destinée à être illustrative, plus que tout. D'après ce que je peux dire, il semble toujours être le seul à répondre à vos deux questions et sera (asymptotiquement) correct même dans le scénario décrit par Erik. (+1 pour lui il y a plus d'un an.) :)

— Cardinal

s (s_{s})

$s(s_{s})$

s [l c l, u c l]

$s[lcl,ucl]$

1

Je me concentrerais sur le SD plutôt que sur la variance, car c'est sur une échelle qui est plus facile à interpréter.

Les gens examinent parfois les intervalles de confiance pour les écarts-types ou les écarts, mais l'accent est généralement mis sur les moyens.

Les résultats que vous donnez pour la distribution des $s^2/\sigma^2$ peut être utilisé pour obtenir un intervalle de confiance pour $\sigma^2$ (et donc aussi $\sigma$ ); la plupart des textes d'introduction en mathématiques / statistiques donneraient les détails dans la même section dans laquelle la distribution de $\sigma^2$ a été mentionné. Je prendrais juste 2,5% de chaque queue.

— Karl
source

(This reply came here after a duplicate question, framed somewhat differently, was merged.)

— whuber

1

La solution suivante a été donnée par Greenwood et Sandomire dans un document JASA de 1950.

Laisser $X_1,\dots,X_n$ être un échantillon aléatoire d'un $\mathrm{N}(\mu,\sigma^2)$ Distribution. Vous ferez des inférences sur $\sigma$ en utilisant comme estimateur ( biaisé ) l'écart type de l'échantillon

S = \sqrt{\sum_{je = 1}^{n} \frac{(X_{je} - \bar{X})^{2}}{n - 1}},

$S=\sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X})^2}{n-1}},$ et vous voulez contrôler la probabilité que l'écart relatif entre

S

$S$ et

σ

$\sigma$ is within a fraction

0 < u < 1

$0<u<1$ . That is,

Pr {S < (1 - u) \cdot σ} = a and Pr {S > (1 + u) \cdot σ} = b,

$\Pr\{S<(1-u)\cdot\sigma\}=a \quad\text{and}\quad \Pr\{S>(1+u)\cdot\sigma\}=b,$ in which the significance level

γ = 1 - a - b

$\gamma=1-a-b$ .

It follows that

Pr {\frac{(n - 1) S^{2}}{σ^{2}} < (n - 1) (1 - u)^{2}} = a

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} < (n-1)(1-u)^2\right\} = a$ and

Pr {\frac{(n - 1) S^{2}}{σ^{2}} > (n - 1) (1 + u)^{2}} = b .

$\Pr\!\left\{ \frac{(n-1)S^2}{\sigma^2} > (n-1)(1+u)^2\right\} = b.$ Since the pivotal quantity

(n - 1) S^{2} / σ^{2}

$(n-1)S^2/\sigma^2$ has

χ_{n - 1}^{2}

$\chi^2_{n-1}$ distribution, adding the two probabilities, we find

γ = F_{χ_{(n - 1)}^{2}} ((n - 1) (1 + u)^{2}) - F_{χ_{(n - 1)}^{2}} ((n - 1) (1 - u)^{2}),

$\gamma = F_{\chi^2_{(n-1)}}((n-1)(1+u)^2) - F_{\chi^2_{(n-1)}}((n-1)(1-u)^2),$

and the necessary sample size is found solving the former equation in $n$ for given $\gamma$ and $u$ .

R code.

gamma <- 0.95
u <- 0.1
g <- function(n) pchisq((n-1)*(1+u)^2, df = n-1) - pchisq((n-1)*(1-u)^2, df = n-1) - gamma
cat("Sample size n = ", ceiling(uniroot(g, interval = c(2, 10^6))$root), "\n")

Output for $u=10\%$ and $\gamma=95\%$ .

Sample size n = 193

— Zen
source