Conditions pour que l'estimateur M converge vers la vraie moyenne

10

Étant donné des échantillons iid d'une distribution gaussienne et de l'estimateur M, , quelles propriétés sur sont suffisantes pour garantir la ? Est étant strictement convexe et strictement croissante suffisante? $X_1,...,X_n \sim N(\mu,\sigma)$ $\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)$ $\rho$ $\mu_m \rightarrow \mu$ $\rho$

estimation

— chenille
source

Puisque vous pouvez prendre et alors est la moyenne de l'échantillon, cela signifie qu'il pourrait même ne pas être strictement convexe, mais augmenter strictement oui, donc ... Je mettrais strictement convexe ou strictement croissant, les deux semble suffisant, mais reste à prouver. Une convexité intuitivement stricte garantit un minimum global unique, car l'augmentation stricte est l'hypothèse de gaussianité qui compte.

ρ (x) = x

$\rho(x) = x$

μ_{m}

$\mu_m$

— Dmitrij Celov

1

L'article Asymptotique pour les minimiseurs de processus convexes de Hjort et Pollard peut aider ici, bien qu'il ne se spécialise pas dans les distributions gaussiennes et qu'il considère une forme plus générale de fonction de contraste, à savoir , bien que leur notation soit . En plus de la convexité de en , ils nécessitent une expansion de en autour de , dans un certain sens, lié à la distribution des données. Donc, pas aussi simple que de simplement dire que est convexe ou augmente, mais peut-être si vous limitez le théorème aux distributions gaussiennes et $\rho(x,a)$ $g(y,t)$ $g$ $t$ $g$ $t$ $\theta_0$ $\rho$ $g$ pour avoir le formulaire que vous spécifiez, vous pouvez obtenir un ensemble de conditions encore plus soigné. Je vais réécrire leur théorème ici pour être complet, légèrement paraphrasé:

Supposons que nous ayons

$Y,Y_{1},Y_{2},\ldots$ iid de la distribution $F$
Paramètre d'intérêt $\theta_{0}=\theta(F)\in\cal{R}^{p}$
$\theta_{0}\in\arg\min_{t\in\cal{R}^{p}}\mathbb{E} g(Y,t)$ , où est convexe en . $g(y,t)$ $t$
On a une "faible expansion" de en autour de : pour un avec zéro moyen sous et pour une matrice définie positive . $g(y,t)$ $t$ $\theta_{0}$ $g (y, θ_{0} + t) - g (y, θ_{0}) = D (y)^{T} t + R (y, t),$ $g(y,\theta_{0}+t)-g(y,\theta_{0})=D(y)^{T}t+R(y,t),$ $D(y)$ $F$ $E R (Y, t) = \frac{1}{2} t^{T} J t + o ({| t |}^{2}), as t \to 0$ $\mathbb{E} R(Y,t)=\frac{1}{2}t^{T}Jt+o(\left|t\right|^{2}),\mbox{ as }t\to0$ $J$
$\mbox{Var}[ R(Y,t) ]=o(\left|t\right|^{2})$ comme . $t\to0$
$D(Y)$ a une matrice de covariance finie . $K=\int D(y)D(y)^{T}\, dF(y)$

ALORS tout estimateur est -consistant pour , et asymptotiquement normal avec $\hat{\theta}_{n}\in\arg\min_{\theta\in\cal{R}^{p}}\sum_{i=1}^{n}g(Y_{i},t)$ $\sqrt{n}$ $\theta_{0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \overset{d}{\to} N_{p} (0, J^{- 1} K J^{- 1}) .

$\sqrt{n}\left(\hat{\theta}_{n}-\theta_{0}\right)\stackrel{d}{\rightarrow}\mathcal{N}_{p}(0,J^{-1} K J^{-1}).$

— DavidR
source

0

Ce ne sera pas une réponse, car cela réduira votre problème à un autre, mais je pense que cela pourrait être utile. Votre question porte essentiellement sur la cohérence de M-estimateur. Alors d'abord, nous pouvons regarder les résultats généraux. Voici le résultat du livre de van der Vaart (théorème 5.7, page 45):

Théorème Soit des fonctions aléatoires et Soit une fonction fixe de telle que pour chaque $M_n$ $M$ $\theta$ $\varepsilon>0$

sup_{θ \in Θ} | M_{n} (θ) - M (θ) | \overset{P}{\to} 0,

$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0,$

sup_{θ : d (θ, θ_{0}) \geq ε} M (θ) < M (θ_{0}) .

$\sup_{\theta:d(\theta,\theta_0)\ge\varepsilon} M(\theta)<M(\theta_0).$

Ensuite, toute séquence d'estimateurs avec converge en probabilité vers $\hat\theta_n$ $M_n(\hat\theta_n)\ge M_n(\theta_0)-o_P(1)$ $\theta_0$

Dans votre cas , et $\theta_0=\mu$ $M(\theta)=E\rho(|X-\theta|)$ $M_n(\theta)=\frac{1}{n}\sum \rho(|X_i-\theta|)$

La condition clé ici est la convergence uniforme. À la page 46, van der Vaart dit

que pour les moyennes qui est votre cas cette condition équivaut à un ensemble de fonctions ( dans votre cas) étant Glivenko -Canteli . Un ensemble simple de conditions suffisantes est que soit compact, que les fonctions soient continues pour chaque , et> qu'elles soient dominées par une fonction intégrable. $\{m_\theta, \theta\in\Theta\}$ $m_\theta=\rho(|x-\theta|)$ $\Theta$ $\theta\to m_\theta(x)$ $x$

Dans Wooldridge, ce résultat est formulé sous la forme d'un théorème appelé loi uniforme faible des grands nombres, page 347 (première édition), théorème 12.1. Il ajoute seulement des exigences de mesurabilité à ce que déclare van der Vaart.

Dans votre cas, vous pouvez choisir en toute sécurité pour certains , vous devez donc montrer qu'il existe une fonction telle que $\Theta=[\mu-C,\mu+C]$ $C$ $b$

| ρ (| x - θ |) | \leq b (x)

$|\rho(|x-\theta|)|\le b(x)$

pour tous les , tels que . La théorie des fonctions convexes pourrait être utile ici, car vous pouvez $\theta\in\Theta$ $Eb(X)<\infty$

b (x) = sup_{θ \in Θ} | ρ (| x - θ |) | .

$b(x)=\sup_{\theta\in\Theta}|\rho(|x-\theta|)|.$

Si cette fonction a de belles propriétés, vous êtes prêt à partir.

— mpiktas
source