Un exemple d'estimateur cohérent et biaisé?

13

Vraiment perplexe sur celui-ci. J'aimerais vraiment un exemple ou une situation où un estimateur B serait à la fois cohérent et biaisé.

mathematical-statistics estimation econometrics

— Jimmy Wiggles
source

3

C'est pour une classe?

— Glen_b -Reinstate Monica

5

Je pense que la spécification tardive que vous recherchez pour un exemple de série chronologique transforme cela en une question différente, car elle invaliderait les excellentes réponses déjà fournies. Mais c'est très bien - Vous pouvez poser une nouvelle question.

— Sycorax dit Réintégrer Monica le

6

Je vois que vous avez changé votre question. Étant donné que plusieurs réponses ont déjà traité votre question précédente, je vous conseille de la modifier et de poster une nouvelle question spécifiquement pour les modèles de séries chronologiques.

— JohnK

3

Il est surprenant que même si vous demandez un estimateur lié aux séries chronologiques, personne n'a mentionné OLS pour un AR (1). L'estimateur est biaisé, mais cohérent, et il est assez facile à montrer (et la recherche sur Google vous donnera beaucoup de matériel à ce sujet). Edit: il apparaît que la demande de série chronologique était un ajout tardif, ce qui expliquerait l'absence de telles réponses ...

— hejseb

2

Voici un exemple assez banal: , .

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$

ϵ \neq 0

$\epsilon \neq 0$

— dsaxton

23

L'exemple le plus simple auquel je puisse penser est la variance de l'échantillon qui vient intuitivement à la plupart d'entre nous, à savoir la somme des écarts au carré divisés par au lieu de : $n$ $n-1$

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

Il est facile de montrer que et donc l'estimateur est biaisé. Mais en supposant une variance finie , observez que le biais va à zéro comme parce que $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ $\sigma^2$ $n \to \infty$

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

On peut également montrer que la variance de l'estimateur tend vers zéro et donc l'estimateur converge en carré moyen . Par conséquent, il est également convergent en probabilité .

— JohnK
source

1

C'est un exemple utile, bien qu'il puisse appliquer ici une interprétation plutôt faible de «biaisé» (qui est utilisée de façon quelque peu ambiguë dans la question elle-même). On pourrait aussi demander quelque chose de plus fort, par exemple, une séquence d'estimateur cohérente, mais avec un biais qui ne disparaît même pas asymptotiquement.

— Cardinal

@cardinal Le biais doit disparaître asymptotiquement pour que l'estimateur soit cohérent, non?

— JohnK

3

Nan. (Voir le flux de commentaires pour plus de détails.)

— Cardinal

Je pense qu'il serait utile d'appeler votre estimateur plutôt que , car fait généralement référence à l'estimateur sans biais, tandis que fait souvent référence au MLE.

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— Cliff AB

@CliffAB Oui, c'est ce que l'indice désigne, la somme des écarts au carré est divisée par , au lieu du conventionnel .

n

$n$

n

$n$

n - 1

$n-1$

— JohnK

9

Un exemple simple serait d'estimer le paramètre étant donné observations iid . $\theta > 0$ $n$ $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

Soit . Pour tout fini, nous avons (donc l'estimateur est biaisé), mais dans la limite, il sera avec la probabilité un (donc il est cohérent). $\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

— Adrian
source

6

Considérons tout estimateur sans biais et cohérent et une séquence convergeant vers 1 ( n'a pas besoin d'être aléatoire) et formons . Il est biaisé, mais cohérent puisque converge vers 1. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

De wikipedia:

En gros, un estimateur du paramètre est dit cohérent s'il converge en probabilité vers la vraie valeur du paramètre: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Rappelons maintenant que le biais d'un estimateur est défini comme:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

Le biais est en effet non nul et la convergence des probabilités reste vraie.

— RUser4512
source

J'apprécie la réponse et l'explication. J'ai une meilleure compréhension maintenant. Merci

— Jimmy Wiggles

Cette réponse a besoin d' une solution en place mineure au début de préciser que ne importe quel impartiale fera. La séquence d'estimateur originale elle-même doit être cohérente.

T_{n}

$T_n$

— Cardinal

2

Dans un cadre de séries chronologiques avec une variable dépendante retardée incluse comme régresseur, l'estimateur OLS sera cohérent mais biaisé. La raison en est que pour montrer l'impartialité de l'estimateur OLS, nous avons besoin d'une exogénéité stricte, , c'est-à-dire que le terme d'erreur, , dans la période n'est pas corrélé avec tous les régresseurs de toutes les périodes. Cependant, afin de montrer la cohérence de l'estimateur OLS, nous n'avons besoin que d'une exogénéité contemporaine, , c'est-à-dire que le terme d'erreur, , dans la période est sans corrélation avec les régresseurs, $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ dans la période . Considérons le modèle AR (1): avec partir de maintenant. $t$ $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

Je montre d'abord que l'exogénéité stricte ne tient pas dans un modèle avec une variable dépendante retardée incluse comme régresseur. Voyons la corrélation entre et $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

Si nous supposons une exogénéité séquentielle, , c'est-à-dire que le terme d'erreur, , dans la période n'est pas corrélé avec tous les régresseurs des périodes précédentes et le courant puis le premier terme ci-dessus, , disparaîtra. Ce qui ressort clairement de ce qui précède, c'est qu'à moins d'une exogénéité stricte, l'attente . Cependant, il doit être clair que l'exogénéité contemporaine, , tient. $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Examinons maintenant le biais de l'estimateur OLS lors de l'estimation du modèle AR (1) spécifié ci-dessus. L'estimateur OLS de , est donné comme suit: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

Ensuite, prenez une attente conditionnelle sur toutes les valeurs précédentes, contemporaines et futures, , de l' : $E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Cependant, nous savons de l' que telle sorte que signifiant que et donc mais est biaisé: $Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

Tout ce que je suppose pour montrer la cohérence de l'estimateur OLS dans le modèle AR (1) est l'exogénéité contemporaine, qui mène à la condition de moment, avec . Comme précédemment, nous avons que l'estimateur OLS de , est donné comme: $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Supposons maintenant que et est positif et fini, . $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

Ensuite, comme et tant qu'une loi des grands nombres (LLN) s'applique, nous avons que . En utilisant ce résultat, nous avons: $T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

Il a ainsi été démontré que l'estimateur OLS de , dans le modèle AR (1) est biaisé mais cohérent. Notez que ce résultat est valable pour toutes les régressions où la variable dépendante décalée est incluse en tant que régresseur. $p$ $\hat{\rho}$

— Plissken
source