La théorie de l'estimation sans biais de la variance minimale est-elle surestimée dans les études supérieures?

Récemment, j'ai été très gêné lorsque j'ai donné une réponse spontanée sur les estimations sans biais de la variance minimale pour les paramètres d'une distribution uniforme qui étaient complètement faux. Heureusement, j'ai été immédiatement corrigé par le cardinal et Henry avec Henry fournissant les bonnes réponses pour l'OP .

Cela m'a fait réfléchir cependant. J'ai appris la théorie des meilleurs estimateurs non biaisés dans ma classe de statistique en mathématiques à Stanford il y a environ 37 ans. J'ai des souvenirs du théorème de Rao-Blackwell, de la borne inférieure de Cramer - Rao et du théorème de Lehmann-Scheffe. Mais en tant que statisticien appliqué, je ne pense pas beaucoup aux UMVUE dans ma vie quotidienne, alors que l'estimation du maximum de vraisemblance revient souvent.

Pourquoi donc? Insistons-nous trop sur la théorie UMVUE à l'école doctorale? Je le pense. Tout d'abord, l'impartialité n'est pas une propriété cruciale. De nombreux MLE parfaitement bons sont biaisés. Les estimateurs de rétrécissement de Stein sont biaisés mais dominent le MLE sans biais en termes de perte d'erreur quadratique moyenne. C'est une très belle théorie (estimation UMVUE), mais très incomplète et je pense pas très utile. Qu'en pensent les autres?

estimation point-estimation

— Michael Chernick
source

(+1) Je suis d'accord pour dire que cela poserait une bonne question pour le site principal et que je voterai favorablement. C'est un peu subjectif, donc ce pourrait être mieux comme une question CW. (De plus, il n'y a aucune raison d'être gêné.)

— Cardinal

Je ne pense pas que, d'une manière générale, ce type d'estimation soit surestimé. Je me souviens que mes professeurs se concentraient davantage sur des exemples où UMVUE est "idiot". Les gens ont tendance à utiliser des estimateurs ponctuels appartenant à des théories populaires, pour des raisons de sécurité, mais il existe une théorie complète d'estimation des équations. Certains professeurs se concentrent sur UMVUE car ils sont une bonne source de problèmes difficiles pour les devoirs. Je pense que la réduction du biais est une théorie plus populaire et utile de nos jours que de trouver l'UMVUE (qui n'existe pas toujours).

Nous voyons beaucoup de questions ici sur UMVUE, je suppose parce qu'elles posent de bons problèmes de devoirs. C'est peut-être plus un problème avec les programmes de statistiques de premier cycle et de maîtrise qu'avec les programmes de doctorat.

— Michael R. Chernick

Eh bien, l'estimation UMVU est une idée classique, alors devrait-elle être enseignée pour cette raison? Et c'est un bon point de départ pour discuter / critiquer des critères tels que l'impartialité! Ce n'est pas parce qu'ils ne sont pas tellement utilisés dans la pratique qu'il n'y a pas en soi de raison de ne pas les enseigner.

— kjetil b halvorsen

L'accent est susceptible de varier selon le temps et les départements. Mon département présente le matériel dans le cours de mathématiques de première année, mais après cela, je ne peux pas raisonnablement dire qu'il est surestimé (même dans le cours d'inférence de doctorat, il n'est généralement pas enseigné, en faveur de plus temps avec les estimateurs bayésiens et minimax, l'admissibilité et l'estimation multivariée), même si je souhaite qu'il y ait davantage d'accent sur la raison pour laquelle le biais est une chose utile et donc pourquoi l'estimation non biaisée est un paradigme inutilement extrême.

— gars

Réponses:

Nous savons que

$X_1,X_2, \dots X_n$ $Poisson(\lambda)$ $\alpha \in (0,1),~T_\alpha =\alpha \bar X+(1-\alpha)S^2$ $\lambda$

$\lambda$

$X_1,X_2, \dots X_n$ $N(\mu, \sigma^2)$ $T_\alpha =\alpha S^2$ $(n-1)S^2=\sum_{i=1}^{n}(X_i-\bar X)^2$ $\sigma^2$ $\frac{n-1}{n+1}S^2=\frac{1}{n+1}\sum_{i=1}^{n}(X_i-\bar X)^2$

Notez que le théorème de Rao-Blackwell dit que pour trouver UMVUE, nous pouvons nous concentrer uniquement sur les UE qui sont fonction d'une statistique suffisante, c'est-à-dire que l'UMVUE est l'estimateur qui a la variance minimale parmi tous les UE qui sont fonction d'une statistique suffisante. L'UMVUE est donc nécessairement fonction d'une statistique suffisante.

MLE et UMVUE sont tous deux bons d'un point de vue. Mais nous ne pouvons jamais dire que l'un d'eux est meilleur que l'autre. En statistique, nous traitons de données incertaines et aléatoires. Il y a donc toujours place à amélioration. Nous pouvons obtenir un meilleur estimateur que MLE et UMVUE.

Je pense que nous n'insistons pas trop sur la théorie UMVUE dans les études supérieures, c'est purement mon point de vue personnel. Je pense que l'étape d'obtention du diplôme est une étape d'apprentissage. Ainsi, un étudiant diplômé doit avoir une bonne base sur UMVUE et d'autres estimateurs,

— Argha
source

Je pense que toute théorie valide de l'inférence est bonne à savoir. Si l'impartialité peut être une bonne propriété, le biais n'est pas nécessairement mauvais. Lorsque l'accent est mis sur les UMVUE, il peut y avoir une tendance à lui attribuer une «optimalité». Mais il se peut qu'il n'y ait pas de très bons estimateurs dans la classe des estimateurs sans biais. La précision est importante et implique à la fois un biais et une variance. Ce qui est mieux avec le MLE, c'est qu'il existe des conditions dans lesquelles il peut être démontré qu'il est asymptotiquement efficace.

— Michael R. Chernick

Notez que le théorème de Rao-Blackwell peut également être utilisé pour améliorer tout estimateur biaisé, produisant un estimateur amélioré avec le même biais.

— kjetil b halvorsen

Peut-être que l'article de Brad Efron «Maximum de vraisemblance et théorie de la décision» peut aider à clarifier cela. Brad a mentionné que l'une des principales difficultés avec l'UMVUE est qu'il est en général difficile à calculer et, dans de nombreux cas, n'existe pas.

— Jiantao Jiao
source