Existe-t-il un exemple où le MLE produit une estimation biaisée de la moyenne?

Pouvez-vous fournir un exemple d'estimateur MLE de la moyenne biaisée?

Je ne cherche pas d'exemple qui casse les estimateurs MLE en général en violant les conditions de régularité.

Tous les exemples que je peux voir sur Internet se réfèrent à la variance, et je n'arrive pas à trouver quoi que ce soit lié à la moyenne.

ÉDITER

@MichaelHardy a fourni un exemple où nous obtenons une estimation biaisée de la moyenne de distribution uniforme en utilisant MLE sous un certain modèle proposé.

pourtant

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

suggère que le MLE est un estimateur sans biais minimal uniforme de la moyenne, clairement sous un autre modèle proposé.

À ce stade, il n'est pas encore très clair pour moi ce que l'on entend par estimation MLE si elle est très dépendante du modèle, par opposition à un estimateur moyen de l'échantillon qui est neutre au modèle. À la fin, je suis intéressé à estimer quelque chose sur la population et je ne me soucie pas vraiment de l'estimation d'un paramètre d'un modèle hypothétique.

EDIT 2

Comme @ChristophHanck l'a montré, le modèle avec des informations supplémentaires a introduit un biais mais n'a pas réussi à réduire le MSE.

Nous avons également des résultats supplémentaires:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (diapositive 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (diapositive 5)

"S'il existe un estimateur sans biais le plus efficace ˆθ de θ (c.-à-d. ˆΘ est sans biais et sa variance est égale au CRLB), alors la méthode d'estimation du maximum de vraisemblance le produira."

"De plus, s'il existe un estimateur efficace, c'est l'estimateur ML."

Étant donné que le MLE avec les paramètres du modèle libre est non biaisé et efficace, est-ce par définition «l'estimateur du maximum de vraisemblance?

EDIT 3

@AlecosPapadopoulos a un exemple avec la distribution Half Normal sur le forum mathématique.

/math/799954/can-the-maximum-likelihood-estimator-be-unbias-and-fail-to-achieve-cramer-rao

Il n'ancre aucun de ses paramètres comme dans le cas uniforme. Je dirais que ça règle, même s'il n'a pas démontré le biais de l'estimateur moyen.

Christoph Hanck n'a pas publié les détails de son exemple proposé. Je suppose qu'il signifie la distribution uniforme sur l'intervalle $[0,\theta],$ basée sur un échantillon iid $X_1,\ldots,X_n$ de taille supérieure à $n=1.$

La moyenne est $\theta/2$ .

Le MLE de la moyenne est $\max\{X_1,\ldots,X_n\}/2.$

Cela est biaisé puisque donc E ( max / 2 ) < $\Pr(\max < \theta) = 1,$$\operatorname{E}({\max}/2)<\theta/2.$

PS: Nous devrions peut - être noter que le meilleur estimateur sans biais de la moyenne n'est pas la moyenne de l'échantillon, mais plutôt n $\theta/2$La moyenne de l'échantillon est un estimateur moche deθ/2parce que pour certains échantillons, la moyenne de l'échantillon est inférieure à

$$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$$ $\theta/2$et il est clairement impossible queθ/2soit inférieur àmax/$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$$\theta/2$${\max}/2.$
fin de PS

---

Je soupçonne que la distribution de Pareto est un autre cas du genre. Voici la mesure de probabilité: La valeur attendue est

$$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$$ Le MLE de la valeur attendue est $\dfrac \alpha {\alpha -1 } \kappa.$ oùmin=min{X1,…,X $$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$$ $\min = \min\{X_1,\ldots,X_n\}.$

Je n'ai pas calculé la valeur attendue du MLE pour la moyenne, donc je ne sais pas quel est son biais.

Voici un exemple que je pense que certains peuvent trouver surprenant:

En régression logistique, pour toute taille d'échantillon fini avec des résultats non déterministes (c.-à-d. ), tout coefficient de régression estimé n'est pas seulement biaisé, la moyenne du coefficient de régression n'est en fait pas définie.$0 < p_{i} < 1$

En effet, pour toute taille d'échantillon finie, il existe une probabilité positive (bien que très faible si le nombre d'échantillons est important par rapport au nombre de paramètres de régression) d'obtenir une séparation parfaite des résultats. Lorsque cela se produit, les coefficients de régression estimés seront soit soit$-\infty$ . Avoir une probabilité positive d'être - ∞ ou$\infty$$-\infty$$\infty$ implique la valeur attendue est indéfinie.

Pour en savoir plus sur cette question particulière, voir l'effet Hauck-Donner .

Bien que @MichaelHardy ait fait le point, voici un argument plus détaillé pour expliquer pourquoi le MLE du maximum (et donc, celui de la moyenne , par invariance) n'est pas sans biais, bien qu'il soit dans un modèle différent (voir la modification ci-dessous).$\theta/2$

Nous estimons la borne supérieure de la distribution uniforme . Ici, y ( n ) est le MLE, pour un échantillon aléatoire y . Nous montrons que y ( n ) n'est pas sans biais. Son cdf est F y ( n )$U[0,\theta]$$y_{(n)}$$y$$y_{(n)}$ Ainsi, sa densité est fy(n)(x)={

$$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$$ Par conséquent, E [ Y ( n ) $$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$$ $$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$$

EDIT: Il est en effet vrai que (voir la discussion dans les commentaires) le MLE est sans biais pour la moyenne dans le cas où la borne inférieure et la borne supérieure b sont inconnues. Ensuite, le minimum Y ( 1 ) est le MLE pour a , avec (détails omis) la valeur attendue E ( Y ( 1 ) ) = n a + $a$$b$$Y_{(1)}$$a$ tandis que E(Y(n))=nb+

$$E(Y_{(1)})=\frac{na+b}{n+1}$$ $$E(Y_{(n)})=\frac{nb+a}{n+1}$$ $(a+b)/2$ $$\frac{Y_{(1)}+Y_{(n)}}{2}$$ $$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$$

EDIT 2: To elaborate on Henry's point, here is a little simulation for the MSE of the estimators of the mean, showing that while the MLE if we do not know the lower bound is zero is unbiased, the MSEs for the two variants are identical, suggesting that the estimator which incorporates knowledge of the lower bound reduces variability.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Completing here the omission in my answer over at math.se referenced by the OP,

assume that we have an i.i.d. sample of size $n$ of random variables following the Half Normal distribution. The density and moments of this distribution are

$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$$

The log-likelihood of the sample is

$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$$

The first derivative with respect to $v$ is

$$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$$

so it is a method of moments estimator. It is unbiased since,

$$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

$$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$$

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$. The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

There is an infinite range of examples for this phenomenon since

1. the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$;
2. the expectation of the bijective transform of the maximum likelihood estimator of $\theta$, $\Psi(\hat{\theta}_\text{MLE})$, $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$;
3. most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$, at least for exponential families, provided an inverse Laplace transform can be applied to them.