L'estimateur du maximum de vraisemblance sans biais est-il toujours le meilleur estimateur sans biais?

22

Je sais que pour les problèmes réguliers, si nous avons un meilleur estimateur régulier sans biais, ce doit être l'estimateur du maximum de vraisemblance (MLE). Mais en général, si nous avons un MLE sans biais, serait-ce aussi le meilleur estimateur sans biais (ou peut-être devrais-je l'appeler UMVUE, tant qu'il a la plus petite variance)?

mathematical-statistics maximum-likelihood unbiased-estimator

— Gary Cheng
source

3

Question interessante. Le MLE est fonction de la statistique suffisante et les UMVUE peuvent être obtenues en conditionnant des statistiques complètes et suffisantes. Donc, si MLE est non biaisé (et fonction de la statistique suffisante), le seul moyen possible pour qu'il n'ait pas de variance minimale est si la statistique suffisante n'est pas complète. J'ai essayé de trouver un exemple, mais sans succès.

— Greenparker

2

Et voici quelques brèves informations sur des statistiques suffisantes et complètes.

— Richard Hardy

10

Le vrai problème est plus que le MLE est rarement sans biais: si est l'estimateur sans biais de et le MLE de , est le MLE de mais est biaisé pour la plupart transformations bijectives .

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— Xi'an

1

Est-ce pertinent? "Un estimateur presque non biaisé de la moyenne de la population" Vyas Dubey Pt.Ravishankar Shukla University, Raipur, Inde

2

+1 pour le commentaire de Xi'ans. Le meilleur estimateur signifie une variance minimale, sans biais signifie autre chose. Je ne suis donc pas sûr que vous puissiez commencer à essayer de le prouver, car l'un a peu à voir avec l'autre. Mais avant même de commencer ma propre dérivation, j'aimerais voir un effort sérieux dans la (essayer d'une) preuve. Je dirais que même la preuve de la première déclaration (MLE est optimale dans certains cas) n'est pas anodine.

— chérubin

13

À mon avis, la question n'est pas vraiment cohérente en ce sens que la maximisation d'une vraisemblance et de l'impartialité ne s'entendent pas, ne serait-ce que parce que les estimateurs du maximum de vraisemblance sont équivalents , c'est-à-dire que la transformée de l'estimateur est l'estimateur de la transformée du paramètre, tandis que l'impartialité ne se trouve pas dans les transformations non linéaires. Par conséquent, les estimateurs du maximum de vraisemblance ne sont presque jamais sans biais, si "presque" est pris en compte dans la gamme de toutes les paramétrisations possibles.

Cependant, il existe une réponse plus directe à la question: lorsque l'on considère l'estimation de la variance normale, , l'UMVUE de est tandis que le MLE de est Ergo, ils diffèrent. Ceci implique que $\sigma^2$ $\sigma^2$

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{je = 1}^{n} {X_{je} - {\bar{X}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{n}^{2} = \frac{1}{n} \sum_{je = 1}^{n} {X_{je} - {\bar{X}}_{n}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

si nous avons un meilleur estimateur régulier sans biais, il doit s'agir de l'estimateur du maximum de vraisemblance (MLE).

ne tient pas en général.

Notez en outre que, même lorsqu'il existe des estimateurs sans biais d'un paramètre , il n'y a pas nécessairement un meilleur estimateur de variance minimale sans biais (UNMVUE). $\theta$

— Xi'an
source

Alors, pouvons-nous dire qu'un MLE non biaisé est un (U) MVUE, mais tous les (U) MVUE ne sont pas le MLE?

— Sextus Empiricus

2

Non, nous n'avons aucune raison de croire que cela soit vrai en général.

— Xi'an

13

Mais en général, si nous avons un MLE sans biais, serait-ce aussi le meilleur estimateur sans biais?

S'il existe des statistiques suffisantes et complètes, oui .

Preuve:

Théorème de Lehmann – Scheffé : Tout estimateur non biaisé qui est fonction d'une statistique complète suffisante est le meilleur (UMVUE).
MLE est fonction de toute statistique suffisante. Voir 4.2.3 ici ;

Ainsi, un MLE non biaisé est nécessairement le meilleur tant qu'il existe des statistiques suffisantes et complètes.

Mais en réalité, ce résultat n'a presque aucun cas d'application car il n'existe presque jamais de statistiques complètes suffisantes. C'est parce que des statistiques complètes suffisantes n'existent (essentiellement) que pour les familles exponentielles où le MLE est le plus souvent biaisé (à l'exception du paramètre de localisation des Gaussiens).

La vraie réponse est donc non .

$p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

le MLE est impartial
il est dominé par un autre estimateur sans biais connu sous le nom d'estimateur équivariant de Pitman

$p$

— Benoit Sanchez
source

Pourquoi cela n'a-t-il pas le plus de votes positifs? Je sentais que cette réponse était meilleure que celle de Xian.

— Red Floyd

0

La variance asymptotique de MLE est UMVUE, c'est-à-dire qu'elle atteint la limite inférieure du cramer rao, mais la variance finie peut ne pas être UMVUE pour garantir que l'estimateur est UMVUE, elle devrait être des statistiques suffisantes et complètes ou toute fonction de ces statistiques.

— serhat simsek
source

0

En bref, un estimateur est UMVUE, s'il est non biaisé et la fonction d'une statistique complète et suffisante. (Voir Rao-Blackwell et Scheffe)

— creutzml
source

Ce qui signifie que cela est limité aux familles exponentielles.

— Xi'an