Quelle est la différence entre un estimateur cohérent et un estimateur non biaisé?

125

Je suis vraiment surpris que personne ne semble l'avoir déjà demandé ...

Lors de la discussion sur les estimateurs, deux termes fréquemment utilisés sont "cohérent" et "non biaisé". Ma question est simple: quelle est la différence?

Les définitions techniques précises de ces termes sont assez compliquées et il est difficile de comprendre intuitivement ce qu’elles signifient . Je peux imaginer un bon estimateur et un mauvais estimateur, mais j'ai du mal à comprendre comment un estimateur pourrait satisfaire une condition et non l'autre.

unbiased-estimator estimators consistency

— MathematicalOrchid
source

Avez-vous examiné le tout premier chiffre de l'article de Wikipedia sur les estimateurs cohérents , qui explique précisément cette distinction?

— whuber

J'ai lu les articles à la fois pour des raisons de cohérence et de partialité, mais je ne comprends toujours pas la distinction. (Le chiffre que vous mentionnez affirme que l'estimateur est cohérent mais biaisé, mais n'explique pas pourquoi .)

— MathematicalOrchid

Pour quelle partie de l'explication avez-vous besoin d'aide? La légende indique que chacun des estimateurs de la séquence est biaisé et explique également pourquoi la séquence est cohérente. Avez-vous besoin d'une explication sur la manière dont le biais de ces estimateurs ressort de la figure?

— whuber

+1 Le fil de commentaire qui suit l'une de ces réponses est très éclairant, à la fois pour ce qu'il révèle sur le sujet et pour illustrer de manière intéressante la manière dont une communauté en ligne peut travailler pour dénoncer et corriger les idées fausses.

— whuber

Connexes: stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

Réponses:

126

Pour définir les deux termes sans utiliser trop de langage technique:

Un estimateur est cohérent si, à mesure que la taille de l'échantillon augmente, les estimations (produites par l'estimateur) "convergent" vers la valeur vraie du paramètre en cours d'estimation. Pour être un peu plus précis - la cohérence signifie que, à mesure que la taille de l'échantillon augmente, la distribution d'échantillonnage de l'estimateur se concentre de plus en plus à la valeur réelle du paramètre.
Un estimateur est non biaisé si, en moyenne, il correspond à la vraie valeur du paramètre. C'est-à-dire que la moyenne de la distribution d'échantillonnage de l'estimateur est égale à la valeur réelle du paramètre.
Les deux ne sont pas équivalents: Unbiasness est une déclaration sur la valeur attendue de la distribution d'échantillonnage de l'estimateur. La cohérence est une déclaration sur "où va la distribution d'échantillonnage de l'estimateur" à mesure que la taille de l'échantillon augmente.

Il est certainement possible qu'une condition soit remplie mais pas l'autre - je donnerai deux exemples. Pour les deux exemples, considérons un exemple provenant d'une population . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Non biaisé mais pas cohérent: supposons que vous estimiez . Alors est un estimateur non biaisé de puisque . Cependant, n'est pas cohérent puisque sa distribution ne devient pas plus concentrée autour de mesure que la taille de l'échantillon augmente - c'est toujours ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Cohérente mais non impartiale: supposons que vous estimiez . L'estimateur de vraisemblance maximale est où est la moyenne de l'échantillon. C’est un fait que , donc, qui peut être dérivé en utilisant les informations fournies ici . Par conséquent, est biaisé pour toute taille d'échantillon finie. Nous pouvons aussi facilement déduire que ces faits, nous pouvons voir de manière informelle que distribution de $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ se concentre de plus en plus à mesure que la taille de l'échantillon augmente, car la moyenne converge vers et la variance converge vers . ( Remarque: cela constitue une preuve de cohérence en utilisant le même argument que celui utilisé dans la réponse ici ) $\sigma^2$ $\sigma^2$ $0$

— Macro
source

(+1) Cependant, tous les MLE ne sont pas cohérents: le résultat général est qu'il existe une sous-séquence cohérente dans la séquence des MLE. Pour une cohérence appropriée, quelques exigences supplémentaires, par exemple une identifiabilité, sont nécessaires. Des exemples de MLE qui ne sont pas cohérents se retrouvent dans certains modèles d'erreur dans les variables (où le "maximum" s'avère être un point d'équilibre).

— jeudi

Eh bien, les MLE EIV que j'ai mentionnés ne sont peut-être pas de bons exemples, car la fonction de vraisemblance est illimitée et il n'existe pas de maximum. C’est un bon exemple de la façon dont l’approche de la BC peut échouer :) Je suis désolé de ne pas pouvoir vous donner de lien pertinent pour le moment - je suis en vacances.

— MånsT

Merci @ MånsT. Les conditions nécessaires ont été décrites dans le lien, mais le libellé n’était pas clair.

— Macro

Juste une note de côté: l’espace des paramètres n’est certainement pas compact dans ce cas, contrairement aux conditions sur ce lien, et le log vraisemblance n’est pas concave par rapport à lui-même. Le résultat de cohérence indiqué est toujours valable.

σ^{2}

$\sigma^2$

— cardinal

Vous avez raison, cardinal, je vais supprimer cette référence. Il est assez clair que et mais je ne veux pas m'éloigner de la pointez en transformant cela en un exercice de démonstration de la cohérence de .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— Macro

La cohérence d'un estimateur signifie qu'à mesure que la taille de l'échantillon augmente, l'estimation se rapproche de plus en plus de la valeur réelle du paramètre. Unbiasness est une propriété d'échantillon fini qui n'est pas affectée par la taille croissante de l'échantillon. Une estimation est non biaisée si sa valeur attendue est égale à la valeur réelle du paramètre. Ceci sera vrai pour toutes les tailles d'échantillon et sera exact alors que la consistance sera asymptotique et seulement approximativement égale et non exacte.

Dire qu'un estimateur est impartial signifie que si vous prenez plusieurs échantillons de taille et calculez l'estimation à chaque fois que la moyenne de toutes ces estimations serait proche de la valeur réelle du paramètre et se rapprocherait à mesure que le nombre de fois que vous le feriez augmente . La moyenne de l'échantillon est cohérente et non biaisée. L'estimation échantillon de l'écart type est biaisée mais cohérente. $n$

Mise à jour à la suite de la discussion dans les commentaires avec @cardinal et @Macro: Comme décrit ci-dessous, il existe des cas apparemment pathologiques où la variance n'a pas à aller à 0 pour que l'estimateur soit fortement cohérent et le biais ne doit même pas aller à 0 non plus.

— Michael Chernick
source

@MichaelChernick +1 pour votre réponse mais, en ce qui concerne votre commentaire, la variance d'un estimateur cohérent ne va pas nécessairement à . Par exemple, si est un échantillon de , , alors est un estimateur (fort) cohérent de , mais , pour tout .

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator: (+2) Le biais ne doit pas nécessairement être réduit à zéro, même lorsque la moyenne existe pour chaque

n

$n$

— cardinal

Michael, le corps de votre réponse est plutôt bon; Je pense que la confusion a été introduite par votre premier commentaire, qui conduit à deux déclarations qui sont clairement fausses et des points de confusion potentiels. (En effet, de nombreux étudiants quittent un cours d'initiation aux statistiques supérieures avec précisément ces idées fausses en raison d'une mauvaise définition des différents modes de convergence et de leur signification. Votre dernier commentaire pourrait être considéré comme un peu dur.)

— cardinal

Malheureusement, les deux premières phrases de votre premier commentaire et l'ensemble du deuxième commentaire sont faux. Mais, je crains qu'il ne soit pas fructueux d'essayer de vous convaincre de ces faits.

— cardinal

Voici un exemple certes absurde, mais simple . L'idée est d' illustrer exactement ce qui peut mal tourner et pourquoi. Il n'avoir des applications pratiques. Exemple : considérons le modèle typique iid avec un second moment fini. Soit où est indépendant de et chacun avec une probabilité de et égal à zéro sinon, avec arbitraire. Alors est biaisé, a variance limitée ci - dessous par , et

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ presque sûrement (c'est fortement cohérent). Je laisse comme exercice le cas concernant le parti pris.

— cardinal

-5

Cohérence: très bien expliqué auparavant [à mesure que la taille de l'échantillon augmente, les estimations (produites par l'estimateur) "convergent" vers la valeur vraie du paramètre en cours d'estimation]

Impartialité: il satisfait aux 1 à 5 hypothèses de la MLR connues sous le nom de théorème de Gauss-Markov

linéarité,
échantillonnage aléatoire
Espérance d'erreur moyenne conditionnelle nulle
pas de colinéarité parfaite
homoskédasticité

On dit alors que l’estimateur est BLEU (meilleur estimateur linéaire sans biais

— Nikolina Langura
source