Biais d'estimateur de moment de la distribution lognormale

Je fais une expérience numérique qui consiste à échantillonner une distribution log-normale , et à essayer d'estimer les moments par deux méthodes:E [ X n$X\sim\mathcal{LN}(\mu, \sigma)$$\mathbb{E}[X^n]$

1. En regardant la moyenne de l'échantillon de$X^n$
2. Estimer et en utilisant les moyennes d'échantillonnage pour , puis en utilisant le fait que pour une distribution log-normale, nous avons .σ 2 log ( X ) , log 2 ( X ) E [ X n ] = exp ( n μ + ( n σ ) 2 / 2 $\mu$$\sigma^2$$\log(X), \log^2(X)$$\mathbb{E}[X^n]=\exp(n \mu + (n \sigma)^2/2)$

La question est :

Je trouve expérimentalement que la deuxième méthode fonctionne bien mieux que la première, quand je garde le nombre d'échantillons fixe et augmente d'un facteur T. Y a-t-il une explication simple à ce fait?$\mu, \sigma^2$

J'attache une figure dans laquelle l'axe x est T, tandis que l'axe y sont les valeurs de comparant les vraies valeurs de (ligne orange), aux valeurs estimées. méthode 1 - points bleus, méthode 2 - points verts. l'axe des y est à l'échelle logarithmiqueE [ X 2 ] = exp ( 2 μ + 2 σ 2$\mathbb{E}[X^2]$$\mathbb{E}[X^2] = \exp(2 \mu + 2 \sigma^2)$

MODIFIER:

Ci-dessous est un code Mathematica minimal pour produire les résultats pour un T, avec la sortie:

   ClearAll[n,numIterations,sigma,mu,totalTime,data,rmomentFromMuSigma,rmomentSample,rmomentSample]
(* Define variables *)
n=2; numIterations = 10^4; sigma = 0.5; mu=0.1; totalTime = 200;
(* Create log normal data*)
data=RandomVariate[LogNormalDistribution[mu*totalTime,sigma*Sqrt[totalTime]],numIterations];

(* the moment by theory:*)
rmomentTheory = Exp[(n*mu+(n*sigma)^2/2)*totalTime];

(*Calculate directly: *)
rmomentSample = Mean[data^n];

(*Calculate through estimated mu and sigma *)
muNumerical = Mean[Log[data]]; (*numerical \[Mu] (gaussian mean) *)
sigmaSqrNumerical = Mean[Log[data]^2]-(muNumerical)^2; (* numerical gaussian variance *)
rmomentFromMuSigma = Exp[ muNumerical*n + (n ^2sigmaSqrNumerical)/2];

(*output*)
Log@{rmomentTheory, rmomentSample,rmomentFromMuSigma}

Sortie:

(*Log of {analytic, sample mean of r^2, using mu and sigma} *)
{140., 91.8953, 137.519}

ci-dessus, le deuxième résultat est la moyenne de l'échantillon de , qui est inférieure aux deux autres résultats$r^2$

Il y a quelque chose de déroutant dans ces résultats puisque

1. la première méthode fournit un estimateur non biaisé de , à savoir has comme sa moyenne. Par conséquent, les points bleus devraient être autour de la valeur attendue (courbe orange);$\mathbb{E}[X^2]$ E[X2 $$\frac{1}{N}\sum_{i=1}^N X_i^2$$ $\mathbb{E}[X^2]$
2. la deuxième méthode fournit un estimateur biaisé de , à savoir lorsque et sont des estimateurs non biaisés de et respectivement, et il est donc étrange que les points verts soient alignés avec la courbe orange.E [ exp ( n μ + n 2 σ 2 / 2 ) ] > exp ( n μ + ( n σ ) 2 / 2 ) μ σ ² μ σ $\mathbb{E}[X^2]$ $$\mathbb{E}[\exp(n \hat\mu + n^2 \hat{\sigma}^2/2)]>\exp(n \mu + (n \sigma)^2/2)$$ $\hat\mu$$\hat\sigma²$$\mu$$\sigma²$

mais ils sont dus au problème et non aux calculs numériques: j'ai répété l'expérience en R et obtenu l'image suivante avec le même code couleur et la même séquence de et , qui représente chaque estimateur divisé par la vraie attente:σ $\mu_T$$\sigma_T$

Voici le code R correspondant:

moy1=moy2=rep(0,200)
mus=0.14*(1:200)
sigs=sqrt(0.13*(1:200))
tru=exp(2*mus+2*sigs^2)
for (t in 1:200){
x=rnorm(1e5)
moy1[t]=mean(exp(2*sigs[t]*x+2*mus[t]))
moy2[t]=exp(2*mean(sigs[t]*x+mus[t])+2*var(sigs[t]*x+mus[t]))}

plot(moy1/tru,col="blue",ylab="relative mean",xlab="T",cex=.4,pch=19)
abline(h=1,col="orange")
lines((moy2/tru),col="green",cex=.4,pch=19)

Il y a donc effectivement effondrement du deuxième moment empirique à mesure que et augmentent que j'attribuerais à l'énorme augmentation de la variance dudit deuxième moment empirique à mesure que et augmentent.σ μ $\mu$$\sigma$$\mu$$\sigma$

Mon explication de ce phénomène curieux est que, alors que est évidemment la moyenne de , ce n'est pas une valeur centrale: en fait, la médiane de est égale à . Lorsque vous représentez la variable aléatoire comme où , il est clair que, lorsque est grand assez, la variable aléatoire n'est presque jamais de l'ampleur de . En d'autres termes, si estX 2 X 2 e 2 μ X 2 exp { 2 μ + 2 σ ϵ } ϵ ∼ N ( 0 , 1 ) σ σ ϵ σ 2 X L N ( μ , σ ) P ( X 2 > E [ X 2 ] $\mathbb{E}[X^2]$$X^2$$X^2$$e^{2\mu}$$X^2$$\exp\{2\mu+2\sigma\epsilon\}$$\epsilon\sim\mathcal{N}(0,1)$$\sigma$$\sigma\epsilon$$\sigma^2$$X$$\mathcal{LN}(\mu,\sigma)$

$$\begin{align*}\mathbb{P}(X^2>\mathbb{E}[X^2])&=\mathbb{P}(\log\{X^2\}>2\mu+2\sigma^2)\\&=\mathbb{P}(\mu+\sigma\epsilon>\mu+\sigma^2)\\&=\mathbb{P}(\epsilon>\sigma)\\ &=1-\Phi(\sigma)\end{align*}$$ qui peut être arbitrairement petit.

J'ai pensé jeter des figues montrant que les graphiques de user29918 et de Xi'an sont cohérents. La figure 1 trace ce que user29918 a fait, et la figure 2 (basée sur les mêmes données), fait ce que Xi'an a fait pour son tracé. Même résultat, présentation différente.

Ce qui se passe, c'est qu'à mesure que T augmente, les variances deviennent énormes et l'estimateur devient comme essayer d'estimer la moyenne de population du Powerball Lotto en achetant des billets de Lotto! Un grand pourcentage du temps, vous sous-estimerez le gain (car aucune observation d'échantillon n'atteint le jackpot) et un petit pourcentage du temps, vous surestimerez massivement le gain (car il y a un gagnant de jackpot dans l'échantillon). La moyenne de l'échantillon est une estimation non biaisée, mais elle ne devrait pas être précise, même avec des milliers et des milliers de tirages! En fait, comme il devient de plus en plus difficile de gagner au loto, la moyenne de votre échantillon sera inférieure à la moyenne de la population la plupart du temps.$\frac{1}{n} \sum_i x_i^2$

D'autres commentaires:

1. Un estimateur sans biais ne signifie pas que l'estimateur devrait être proche! Les points bleus n'ont pas besoin d' être près de l'attente. Par exemple. une seule observation choisie au hasard donne une estimation non biaisée de la moyenne de la population, mais cet estimateur ne devrait pas être proche.
2. Le problème se pose alors que la variance devient absolument astronomique. Comme la variance devient folle, l'estimation de la première méthode est conduite à partir de quelques observations. Vous commencez également à avoir une toute petite, toute petite probabilité d'un grand nombre INSANELY, INSANELY, INSANELY ...
3. Ceci est une explication intuitive. Xi'an a une dérivation plus formelle. Son résultat implique que lorsque devient grand, il devient incroyablement improbable de jamais tirer une observation au-dessus de la moyenne, même avec des milliers d'observations . Ma langue de «gagner au loto» fait référence à un événement où . σ X 2 > E [ X 2$P(X^2 > E[X^2]) = 1 - \Phi(\sigma)$$\sigma$$X^2 > E[X^2]$