Contre-exemple de la condition suffisante requise pour la cohérence

Nous savons que si un estimateur est un estimateur sans biais de thêta et si sa variance tend vers 0 alors que n tend vers l'infini, alors c'est un estimateur cohérent pour thêta. Mais c'est une condition suffisante et non nécessaire. Je cherche un exemple d'estimateur cohérent mais dont la variance n'a pas tendance à 0 car n tend vers l'infini. Aucune suggestion?

— user22546
source

Voir, par exemple, ce commentaire et la discussion connexe.

— Cardinal

Heureux de voir que ma réponse (incorrecte) en a généré deux de plus et a transformé une question morte en un fil de questions-réponses animé. Il est donc temps d'essayer d'offrir quelque chose de valable, je suppose) .

Considérons un processus stochastique stationnaire à covariance corrélée en série , avec la moyenne et les autocovariances . Supposons que (cela limite la "force" de l'autocorrélation car deux réalisations du processus sont de plus en plus éloignées dans le temps). Ensuite, nous avons cela $\{y_t\},\;\; t=1,...,n$ $\mu$ $\{\gamma_j\},\;\; \gamma_j\equiv \operatorname{Cov}(y_t,y_{t-j})$ $\lim_{j\rightarrow \infty}\gamma_j= 0$

{\bar{y}}_{n} = \frac{1}{n} \sum_{t = 1}^{n} y_{t} \to_{m . s} μ, as n \to \infty

$\bar y_n = \frac 1n\sum_{t=1}^ny_t\rightarrow_{m.s} \mu,\;\; \text{as}\; n\rightarrow \infty$

c'est-à-dire que la moyenne de l'échantillon converge en carré moyen vers la vraie moyenne du processus, et donc elle converge également en probabilité: c'est donc un estimateur cohérent de . $\mu$

On peut trouver que la variance de est $\bar y_n$

Var ({\bar{y}}_{n}) = \frac{1}{n} γ_{0} + \frac{2}{n} \sum_{j = 1}^{n - 1} (1 - \frac{j}{n}) γ_{j}

$\operatorname{Var}(\bar y_n) = \frac 1n \gamma_0+\frac 2n \sum_{j=1}^{n-1}\left(1-\frac {j}{n}\right)\gamma_j$

qui est facilement montré pour aller à zéro lorsque va à l'infini. $n$

Maintenant, en utilisant le commentaire de Cardinal, randomisons davantage notre estimateur de la moyenne, en considérant l'estimateur

{\tilde{μ}}_{n} = {\bar{y}}_{n} + z_{n}

$\tilde \mu_n = \bar y_n + z_n$

où est un processus stochastique de variables aléatoires indépendantes qui sont également indépendantes des , en prenant la valeur (paramètre à spécifier par nous) avec la probabilité , la valeur avec probabilité , et zéro sinon. Donc a la valeur et la variance attendues $\{z_t\}$ $y_i$ $at$ $a>0$ $1/t^2$ $-at$ $1/t^2$ $\{z_t\}$

E (z_{t}) = a t \frac{1}{t^{2}} - a t \frac{1}{t^{2}} + 0 \cdot (1 - \frac{2}{t^{2}}) = 0, Var (z_{t}) = 2 a^{2}

$E(z_t) = at\frac 1{t^2} -at\frac 1{t^2} + 0\cdot \left (1-\frac 2{t^2}\right)= 0,\;\;\operatorname{Var}(z_t) = 2a^2$

La valeur attendue et la variance de l'estimateur sont donc

E (\tilde{μ}) = μ, Var (\tilde{μ}) = Var ({\bar{y}}_{n}) + 2 a^{2}

$E(\tilde \mu) = \mu,\;\;\operatorname{Var}(\tilde \mu) = \operatorname{Var}(\bar y_n) + 2a^2$

Considérons la distribution de probabilité de, :prend la valeur avec probabilité et la valeur avec probabilité . Donc $|z_n|$ $P\left(|z_n| \le \epsilon\right),\;\epsilon>0$ $|z_n|$ $0$ $(1-2/n^2)$ $an$ $2/n^2$

P (| z_{n} | < ϵ) \geq 1 - 2 / n^{2} = lim_{n \to \infty} P (| z_{n} | < ϵ) \geq 1 = 1

$P\left(|z_n| <\epsilon\right) \ge 1-2/n^2 = \lim_{n\rightarrow \infty}P\left(|z_n| < \epsilon\right) \ge 1 = 1$

ce qui signifie que converge en probabilité vers (alors que sa variance reste finie). Donc $z_n$ $0$

plim {\tilde{μ}}_{n} = plim {\bar{y}}_{n} + plim z_{n} = μ

$\operatorname{plim}\tilde \mu_n = \operatorname{plim}\bar y_n+\operatorname{plim} z_n = \mu$

cet estimateur randomisé de la valeur moyenne du processus -stochastique reste donc cohérent. Mais sa variance ne va pas à zéro car va à l'infini, ni à l'infini. $y$ $n$

Clôture, pourquoi toute cette élaboration apparemment inutile avec un processus stochastique autocorrélé? Parce que Cardinal a qualifié son exemple de «absurde», comme «juste pour montrer que mathématiquement, nous pouvons avoir un estimateur cohérent avec une variance non nulle et finie».
Je voulais donner un indice que ce n'est pas nécessairement une curiosité, au moins dans l'esprit: Il y a des moments dans la vie réelle où de nouveaux processus commencent, des processus créés par l'homme, qui ont à voir avec la façon dont nous organisons nos vies et nos activités. Bien que nous les ayons généralement conçus et que nous pouvons en dire beaucoup à leur sujet, ils peuvent néanmoins être si complexes qu'ils sont raisonnablement traités comme stochastiques (l'illusion d'un contrôle complet sur ces processus ou d'une connaissance a priori complète de leur évolution, processus qui peut représenter de nouvelles façons d'échanger ou de produire, ou d'organiser la structure des droits et obligations entre les humains, n'est que cela, une illusion). Etre aussi nouveau, nous n'en avons pas suffisamment de réalisations cumulées pour pouvoir faire des inférences statistiques fiables sur leur évolution. Ensuite, les corrections ad hoc et peut-être "sous-optimales" sont néanmoins un phénomène réel, lorsque par exemple nous avons un processus où nous croyons fermement que son présent dépend du passé (d'où le processus stochastique auto-corrélé), mais nous n'en avons vraiment pas savoir comment faire (d'où la randomisation ad hoc, en attendant que les données s'accumulent pour estimer les covariances). Et peut-être qu'un statisticien trouverait une meilleure façon de faire face à ce type d'incertitude sévère - mais de nombreuses entités doivent fonctionner dans un environnement incertain sans bénéficier de ces services scientifiques.

Ce qui suit est la réponse initiale (fausse) (voir en particulier le commentaire de Cardinal)

Il existe des estimateurs qui convergent en probabilité vers une variable aléatoire: le cas de la "régression parasite" vient à l'esprit, où si nous essayons de régresser deux marches aléatoires indépendantes (c'est-à-dire des processus stochastiques non stationnaires) l'une sur l'autre en utilisant une estimation des moindres carrés ordinaires , l'estimateur OLS convergera vers une variable aléatoire.

Mais il n'existe pas d'estimateur cohérent avec une variance non nulle, car la cohérence est définie comme la convergence de la probabilité d'un estimateur à une constante , qui, par conception, a une variance nulle.

— Alecos Papadopoulos
source

@cardinal Merci pour l'intervention et je me ferai un plaisir de la corriger. Puis-je avoir un indice sur la façon de commencer à chercher un estimateur cohérent dont la variance converge vers un nombre fini? (Le cas de variance infinie / indéfinie est un cas connu et aurait dû être mentionné, mais le cas fini non nul est vraiment intéressant). Ou ai-je mal décrit la propriété de la cohérence?

— Alecos Papadopoulos

L'exemple que j'ai donné dans le commentaire lié à ma note au PO a une variance limite finie. La cohérence traite de la convergence des probabilités, ce que vous avez correctement noté. Mais pour que la variance passe à zéro, nous devons (également) contrôler les queues. Ceci est lié à la relation entre la convergence et la convergence en probabilité.

L_{p}

$L_p$

— cardinal

Je mets ici aussi un exemple de convergence de probabilité avec une variance finie toujours positive dans ma réponse.

— ekvall

@cardinal Si vous ne pensez plus que la réponse actuelle est incorrecte, vous pouvez peut-être supprimer votre commentaire ou publier un nouveau commentaire pour confirmer que la réponse actuelle n'est plus incorrecte. Du point de vue d'un lecteur, le fait d'avoir une réponse votée disant qu'une réponse est incorrecte est source de confusion (et force à commencer à vérifier les chronologies de modification).

— Silverfish

Le commentaire de @Silverfish Cardinal fait en effet référence à ma réponse initiale (la partie sous la barre grise vers la fin du post). Exactement parce que cette réponse initiale a généré des commentaires qui sont toujours présents, je l'ai laissée non supprimée, sous la nouvelle réponse. J'ai ajouté quelque chose sur la barre grise pour aider un peu à la confusion.

— Alecos Papadopoulos

Prenez n'importe quel échantillon de la distribution avec une espérance finie et une variance infinie ( Pareto avec par exemple). Ensuite, la moyenne de l'échantillon convergera vers l'espérance due à la loi ou à de grands nombres (qui ne nécessite que l'existence de moyenne) et la variance sera infinie. $\alpha\in(1,2]$

— mpiktas
source

La variance est-elle infinie lorsque, disons, ? Ou n'est-il pas défini dans un tel cas?

α = 1.5

$\alpha = 1.5$

— Alecos Papadopoulos

Eh bien, il est infini, si nous regardons la zone sous la courbe pour l'interprétation de l'intégrale.

— mpiktas

Permettez-moi de donner un exemple d'une séquence de variables aléatoires convergeant vers zéro en probabilité mais avec une variance infinie. Essentiellement, un estimateur n'est qu'une variable aléatoire, donc avec un peu d'abstraction, vous pouvez voir que la convergence de la probabilité vers une constante n'implique pas une variance approchant zéro.

Considérons la variable aléatoire sur où la mesure de probabilité considérée est la mesure de Lebesgue. Clairement, mais pour tout donc sa variance ne va pas à zéro. $\xi_n(x):=\chi_{[0,1/n]}(x)x^{-1/2}$ $[0,1]$ $P(\xi_n(x)>0)=1/n\to0$

\int ξ_{n}^{2} d P = \int_{0}^{1 / n} x^{- 1} d x = \log (x) ∣_{0}^{1 / n} = \infty,

$\int\xi_n^2dP=\int_{0}^{1/n}x^{-1}dx=\log(x)\mid _{0}^{1/n}=\infty,$

n

$n$

Maintenant, créez un estimateur où, à mesure que votre échantillon grandit, vous estimez la vraie valeur par un tirage de . Notez que cet estimateur n'est pas sans biais pour 0, mais pour le rendre sans biais, vous pouvez simplement définir avec une probabilité égale 1/2 et l'utiliser comme votre estimateur. Le même argument pour la convergence et la variance tient clairement. $\mu=0$ $\xi_n$ $\eta_n:=\pm\xi_n$

Edit: Si vous voulez un exemple dans lequel la variance est finie, prenez et considérez à nouveau wp 1/2.

ξ_{n} (x) := χ_{[0, 1 / n]} (x) \sqrt{n},

$\xi_n(x):=\chi_{[0,1/n]}(x)\sqrt{n},$

η_{n} := \pm ξ_{n}

$\eta_n:=\pm\xi_n$

— ekvall
source