Quelle est la relation entre l'estimateur et l'estimation?

21

estimation terminology estimators

5

"En statistique, un estimateur est une règle pour calculer une estimation d'une quantité donnée sur la base des données observées: ainsi la règle et son résultat (l'estimation) sont distingués." (Première ligne de l'article Wikipedia en.wikipedia.org/wiki/Estimator ).

— whuber

+1 Je vote pour cette question (malgré la présence d'une réponse bien formulée sur une page Wikipédia évidente) parce que les premières tentatives pour y répondre ont mis en évidence certaines subtilités.

— whuber

@whuber, puis-je dire que les estimations des paramètres du modèle sont l'estimateur?

— avocat

2

@loganecolss Un estimateur est une fonction mathématique. Cela se distingue de la valeur (l'estimation) qu'elle pourrait atteindre pour n'importe quel ensemble de données. Une façon d'apprécier la différence est de noter que certains ensembles de données produiront les mêmes estimations , par exemple, de la pente dans une régression linéaire en utilisant différents estimateurs (tels que le maximum de vraisemblance ou les moindres carrés itérativement repondérés, par exemple). Sans distinguer les estimations des estimateurs utilisés pour produire ces estimations, nous ne pourrions pas comprendre ce que dit même cette affirmation.

— whuber

@whuber, même avec un certain ensemble de données , un estimateur différent pourrait également donner des estimations différentes, n'est-ce pas?

D

$D$

— avocat

13

EL Lehmann, dans sa théorie classique de l'estimation ponctuelle , répond à cette question aux pp 1-2.

Les observations sont maintenant supposées être les valeurs prises par des variables aléatoires qui sont supposées suivre une distribution de probabilité conjointe, , appartenant à une classe connue ... $P$

... concentrons-nous maintenant sur l'estimation ponctuelle ... supposons que est une fonction à valeur réelle définie [sur la classe de distributions stipulée] et que nous aimerions connaître la valeur de [quelle que soit la distribution réelle dans effet, ]. Malheureusement, , et donc , est inconnu. Cependant, les données peuvent être utilisées pour obtenir une estimation de , une valeur que l'on espère proche de . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

En termes: un estimateur est une procédure mathématique définie qui fournit un nombre (l' estimation ) pour tout ensemble possible de données qu'un problème particulier pourrait produire. Ce nombre est destiné à représenter une propriété numérique définie ( ) du processus de génération de données; nous pourrions appeler cela «l'estimation». $g(\theta)$

L'estimateur lui-même n'est pas une variable aléatoire: c'est juste une fonction mathématique. Cependant, l'estimation qu'elle produit est basée sur des données qui sont elles-mêmes modélisées comme des variables aléatoires. Cela fait de l' estimation (considérée comme dépendant des données) une variable aléatoire et une estimation particulière pour un ensemble particulier de données devient une réalisation de cette variable aléatoire.

Dans une formulation des moindres carrés ordinaires (conventionnelle), les données sont constituées de paires ordonnées . Les ont été déterminés par l'expérimentateur (il peut s'agir par exemple de quantités de médicament administrées). Chaque (une réponse au médicament, par exemple) est supposé provenir d'une distribution de probabilité qui est normale mais avec une moyenne et une variance inconnues . De plus, on suppose que les moyennes sont liées au via une formule . Ces trois paramètres: , et $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ --déterminer la distribution sous-jacente de pour toute valeur de . Par conséquent, toute propriété de cette distribution peut être considérée comme une fonction de . Des exemples de telles propriétés sont l'ordonnée à l'origine , la pente , la valeur de , ou même la moyenne à la valeur , qui (selon cette formulation ) doit être . $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

Dans ce contexte OLS, un non-exemple d'estimateur serait une procédure pour deviner la valeur de si était égal à 2. Ce n'est pas un estimateur car cette valeur de est aléatoire (d'une manière complètement distincte de le caractère aléatoire des données): ce n'est pas une propriété (numérique définie) de la distribution, même si elle est liée à cette distribution. (Comme nous venons de le voir, cependant, l' espérance de pour , égale à , peut être estimée.) $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

Dans la formulation de Lehmann, presque n'importe quelle formule peut être un estimateur de presque toutes les propriétés. Il n'y a pas de lien mathématique inhérent entre un estimateur et un estimant. Cependant, nous pouvons évaluer - à l'avance - les chances qu'un estimateur soit raisonnablement proche de la quantité qu'il est censé estimer. Les moyens d'y parvenir et la manière de les exploiter font l'objet d'une théorie d'estimation.

— whuber
source

1

(+1) Une réponse très précise et détaillée.

— chl

2

Une fonction d'une variable aléatoire n'est-elle pas également une variable aléatoire?

— jsk

@jsk Je pense que la distinction que je tentais de faire ici peut être clarifiée en prenant en compte la composition des fonctions

La première fonction est une variable aléatoire

; le second (appelez-le

) est appelé ici un estimateur , et la composition des deux

est une "estimation" ou une "procédure d'estimation", qui est - comme vous le dites correctement - un variable.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber Dans votre article, vous dites "L'estimateur lui-même n'est pas une variable aléatoire." J'ai tenté une modification de votre message pour clarifier le point sur lequel vous et moi semblons être d'accord, mais il semble que quelqu'un ait rejeté ma modification. Peut-être qu'ils préféreraient votre montage!

— jsk

Continuons cette discussion dans le chat .

— whuber

7

En bref: un estimateur est une fonction et une estimation est une valeur qui résume un échantillon observé.

Un estimateur est une fonction qui mappe un échantillon aléatoire à l'estimation du paramètre:

notera que un estimateur denvariables aléatoiresest une variable aléatoire . Par exemple, un estimateur est la moyenne de l'échantillon:

\hat{Θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

Uneestimation

est le résultat deapplicationla fonction d'estimation pour un échantillon minuscule observé

:

\bar{X} = \frac{1}{n} \sum_{n = 1}^{n} X_{i}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{θ} = t (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{n = 1}^{n} x_{i}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— Homme libre
source

l'estimateur est un RV, tandis que l'estimation est une constante?

— Parthiban Rajendran

Votre conclusion n'est-elle pas en conflit avec celle de @ whuber? Ici, vous dites que l'estimateur est RV, mais Whuber dit le contraire.

— Parthiban Rajendran

Oui, je ne suis pas d'accord avec l'affirmation de @ whuber "L'estimateur lui-même n'est pas une variable aléatoire: c'est juste une fonction mathématique". Une fonction de variable aléatoire est également une variable aléatoire. onlinecourses.science.psu.edu/stat414/node/128

— Freeman

3

Il pourrait être utile d'illustrer la réponse de whuber dans le contexte d'un modèle de régression linéaire. Disons que vous disposez de données bivariées et que vous utilisez les moindres carrés ordinaires pour arriver au modèle suivant:

Y = 6X + 1

À ce stade, vous pouvez prendre n'importe quelle valeur de X, la connecter au modèle et prédire le résultat, Y. Dans ce sens, vous pourriez penser aux composants individuels de la forme générique du modèle ( mX + B ) comme estimateurs . Les exemples de données (que vous avez vraisemblablement connectés au modèle générique pour calculer les valeurs spécifiques pour m et B ci-dessus) ont fourni une base sur laquelle vous pouvez arriver à des estimations pour m et B respectivement.

Conformément aux points de @ whuber dans notre fil ci-dessous, quelles que soient les valeurs de Y pour lesquelles un ensemble d'estimateurs particulier vous génère sont, dans le contexte de la régression linéaire, considérées comme des valeurs prédites.

(édité - plusieurs fois - pour refléter les commentaires ci-dessous)

— ashaw
source

1

Vous avez bien défini un prédicteur. Il est subtilement (mais surtout) différent d'un estimateur. L'estimateur dans ce contexte est la formule des moindres carrés utilisée pour calculer les paramètres 1 et 6 à partir des données.

— whuber

Hmm, je ne le pensais pas de cette façon, @whuber, mais je pense que votre commentaire illustre une ambiguïté importante dans ma langue que je n'avais pas remarquée auparavant. Le point principal ici est que vous pouvez considérer la forme générique de l'équation Y = mX + B (telle qu'utilisée ci-dessus) comme un estimateur, tandis que les valeurs prédites particulières générées par des exemples spécifiques de cette formule (par exemple, 1 + 6X) sont estimations. Permettez-moi d'essayer de modifier le paragraphe ci-dessus pour capturer cette distinction ...

— ashaw

btw, j'essaie d'expliquer cela sans introduire la notation "chapeau" que j'ai rencontrée dans la plupart des discussions de manuels sur ce concept. Peut-être que c'est le meilleur itinéraire après tout?

— ashaw

2

Je pense que vous avez trouvé un bon moyen entre précision et technicité dans votre réponse originale: continuez! Vous n'avez pas besoin de chapeaux, mais si vous parvenez à montrer comment un estimateur se distingue d'autres choses d'aspect similaire, ce serait très utile. Mais veuillez noter la distinction entre prédire une valeur Y et estimer un paramètre tel que m ou b . Y pourrait être interprété comme une variable aléatoire; m et b ne le sont pas (sauf dans un cadre bayésien).

— whuber

en effet, un très bon point en termes de paramètres par rapport aux valeurs là-bas. Modification à nouveau ...

— ashaw

0

Supposons que vous ayez reçu des données et que vous aviez une variable observée appelée thêta. Maintenant, vos données peuvent provenir d'une distribution de données, pour cette distribution, il y a une valeur correspondante de thêta que vous inférez qui est une variable aléatoire. Vous pouvez utiliser le MAP ou la moyenne pour calculer l'estimation de cette variable aléatoire chaque fois que la distribution de vos données change. Ainsi, la variable aléatoire thêta est connue comme une estimation , une valeur unique de la variable non observée pour un type particulier de données.

Alors que l'estimateur est vos données, qui est également une variable aléatoire. Pour différents types de distributions, vous avez différents types de données et donc vous avez une estimation différente et donc cette variable aléatoire correspondante est appelée l' estimateur .

— Ankur Kothari
source