Autres estimateurs non biaisés que le BLEU (solution OLS) pour les modèles linéaires

Pour un modèle linéaire, la solution OLS fournit le meilleur estimateur linéaire sans biais pour les paramètres.

Bien sûr, nous pouvons échanger un biais pour une variance plus faible, par exemple la régression des crêtes. Mais ma question concerne l'absence de parti pris. Existe-t-il d'autres estimateurs quelque peu couramment utilisés, qui sont non biaisés mais avec une variance plus élevée que les paramètres estimés de l'OLS?

Si j'avais un énorme ensemble de données, je pourrais bien sûr le sous-échantillonner et estimer les paramètres avec moins de données et augmenter la variance. Je suppose que cela pourrait être hypothétiquement utile.

C'est plus une question rhétorique, car quand j'ai lu sur les estimateurs BLEUS, une alternative pire n'est pas fournie. Je suppose que fournir des alternatives pires pourrait également aider les gens à mieux comprendre la puissance des estimateurs BLEUS.

Un exemple qui me vient à l'esprit est un estimateur GLS qui pondère les observations différemment, bien que cela ne soit pas nécessaire lorsque les hypothèses de Gauss-Markov sont remplies (ce que le statisticien peut ne pas savoir être le cas et donc appliquer toujours appliquer GLS).

Considérons le cas d'une régression de $y_i$ , $i=1,\ldots,n$ sur une constante pour illustration (se généralise facilement aux estimateurs GLS généraux). Ici, $\{y_i\}$ est supposé être un échantillon aléatoire d'une population de moyenne $\mu$ et de variance $\sigma^2$ .

Ensuite, nous savons que OLS est juste β = ˉ y , la moyenne de l' échantillon. Pour mettre l'accent sur le fait que chaque observation est pondérée avec le poids 1 / n , écrire ce que β = n Σ i = 1 1$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ Il est bien connu que$Var(\hat\beta)=\sigma^2/n$.

Maintenant, considérons un autre estimateur qui peut s'écrire

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ où les poids sont tels que $\sum_iw_i=1$ . Cela garantit que l'estimateur est sans biais, car $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ Sa variance dépassera celle de l'OLS à moins que$w_i=1/n$pour tout$i$(auquel cas elle se réduira bien sûr à l'OLS), ce qui peut par exemple être montré via un lagrangien:

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ avec dérivées partielles wrt$w_i$$2\sigma^2w_i-\lambda=0$$i$$\partial L/\partial\lambda=0$$\sum_iw_i-1=0$$\lambda$$w_i=w_j$$w_i=1/n$

Voici une illustration graphique d'une petite simulation, créée avec le code ci-dessous:

$y_i$In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

Que les trois derniers soient surperformés par la solution OLS n'est pas immédiatement impliqué par la propriété BLUE (du moins pas pour moi), car il n'est pas évident s'ils sont des estimateurs linéaires (et je ne sais pas non plus si le MLE et Huber sont sans biais).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)