Pour quels modèles le biais du MLE chute-t-il plus vite que la variance?

$\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$

Je m'intéresse aux modèles qui ont un biais qui rétrécit plus rapidement que $O(1/\sqrt n)$ , mais où l'erreur ne diminue pas à ce rythme plus rapide car l'écart se rétrécit toujours comme $O(1/\sqrt n)$ . En particulier, je voudrais connaître des conditions suffisantes pour que le biais d'un modèle se rétrécisse au taux $O(1/n)$ .

— Mike Izbicki
source

Est-ce que

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$ ? Ou?

— Alecos Papadopoulos

Je posais une question spécifique sur la norme L2, oui. Mais je serais également intéressé par d'autres normes si cela rend la question plus facile à répondre.

— Mike Izbicki

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ est

O_{p} (1 / n)

$O_p(1/n)$ .

— Alecos Papadopoulos

Désolé, j'ai mal lu votre commentaire. Pour la norme L2 en dimensions , , et donc la convergence se fait au taux de . Je suis d'accord que si nous le mesurons au carré, il convergera en .

d

$d$

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$

O (1 / \sqrt{n})

$O(1/\sqrt n)$

O (1 / n)

$O(1/n)$

— Mike Izbicki

Avez-vous vu l'article sur la régression des crêtes (Hoerl et Kennard 1970)? Je crois que cela donne des conditions sur la matrice de conception + pénalité où cela devrait être vrai.

— dcl

Réponses:

En général, vous avez besoin de modèles où le MLE n'est pas asymptotiquement normal mais converge vers une autre distribution (et il le fait à un rythme plus rapide). Cela se produit généralement lorsque le paramètre sous-estimé se trouve à la limite de l'espace des paramètres. Intuitivement, cela signifie que le MLE approchera le paramètre "uniquement d'un côté", de sorte qu'il "améliore la vitesse de convergence" car il n'est pas "distrait" en allant "d'avant en arrière" autour du paramètre.

Un exemple standard est le MLE pour $\theta$ dans un échantillon iid de RV uniformes Le MLE ici est la statistique d'ordre maximum, $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

Sa distribution d'échantillons finis est

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Donc . Mais le même taux accru s'appliquera également à la variance. $B(\hat \theta_n) = O(1/n)$

On peut aussi vérifier que pour obtenir une distribution limite, il faut regarder la variable , (c'est-à-dire que nous devons de ) puisque $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

qui est le CDF de la distribution exponentielle.

J'espère que cela donne une certaine direction.

— Alecos Papadopoulos
source

Cela se rapproche, mais je m'intéresse particulièrement aux situations où le biais diminue plus vite que la variance.

— Mike Izbicki

@MikeIzbicki Hmm ... la convergence du biais dépend du premier moment de la distribution, et la variance (racine carrée de) est également une amplitude de "premier ordre". Je ne suis pas sûr alors que cela soit possible, car il semblerait que cela impliquerait que les moments de la distribution limite "surviennent" à des taux de convergence qui ne sont pas compatibles entre eux ... J'y penserai cependant.

— Alecos Papadopoulos

Après les commentaires de mon autre réponse (et en revoyant le titre de la question du PO!), Voici une exploration théorique peu rigoureuse de la question.

Nous voulons déterminer si le biais peut avoir un taux de convergence différent de la racine carrée de la variance, $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

Nous avons

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

tandis que

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

Nous voyons que peut se produire si $(2)$

A) les deux composantes sont , auquel cas nous ne pouvons avoir que . $O(1/n^{2\gamma})$ $\gamma = \delta$

B) Mais cela peut aussi être vrai si

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

Pour que soit compatible avec , nous devons avoir $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

Il apparaît donc qu'en principe, il est possible de faire converger le biais plus rapidement que la racine carrée de la variance. Mais nous ne pouvons pas faire converger la racine carrée de la variance à un rythme plus rapide que le biais.

— Alecos Papadopoulos
source

Comment conciliez-vous cela avec l'existence d'estimateurs sans biais comme les moindres carrés ordinaires? Dans ce cas, , mais .

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

— Mike Izbicki

@MikeIzbicki Le concept de convergence / big-O est-il applicable dans ce cas? Parce qu'ici n'est pas " -anything" pour commencer.

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

— Alecos Papadopoulos

Dans ce cas, , donc .

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

— Mike Izbicki

@MikeIzbicki Mais aussi ou ou tout autre que vous souhaitez noter. Alors, quel est le taux de convergence ici?

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

— Alecos Papadopoulos

@MikeIzbicki J'ai corrigé ma réponse pour montrer qu'il est possible en principe de faire converger le biais plus rapidement, même si je pense toujours que l'exemple du "zéro-biais" est problématique.

— Alecos Papadopoulos