Est-il possible d'avoir un estimateur sans biais et borné?

J'ai un paramètre qui se situe entre . Disons que je peux exécuter une expérience et obtenir , où est un gaussien standard. Ce dont j'ai besoin, c'est d'une estimation de qui est 1) sans biais 2) presque sûrement borné. L'exigence (2) est cruciale pour moi. $\theta$ $[0,1]$ $\hat{\theta} = \theta + w$ $w$ $\theta$

La pensée naturelle à faire est de construire un nouvel estimateur mettant à s'il est supérieur à et à s'il est inférieur à . Mais alors l'estimateur ne sera pas sans biais. Donc qu'est ce que je devrais faire? $\hat{\theta}$ $1$ $1$ $0$ $0$

Formellement, la question est de savoir s'il existe une fonction telle que satisfait (1) et (2) ci-dessus. De plus, la situation serait-elle différente si je prélevais plus d'un seul échantillon? $f: \mathbb{R} \rightarrow \mathbb{R}$ $f(\hat \theta)$

— yves
source

Pouvez-vous nous en dire plus sur votre situation? Je ne suis pas un statisticien mathématique, mais cela me semble très abstrait. Cela me rappelle la régression logistique, où le paramètre doit se trouver dans , et , mais la distribution d'échantillonnage de n'est pas gaussienne. (Bien sûr, est, mais ce n'est pas limité par .) Est-ce que tout cela est lié à votre situation? FWIW, je soupçonne que vous ne pourrez pas trouver une fonction comme vous le souhaitez (c'est-à-dire qui est bornée), b / c n'est pas borné. (Avec mes excuses, je peux supprimer ce commentaire si nécessaire.)

π

$\pi$

(0, 1)

$(0,1)$

E [\hat{π}] = π

$E[\hat\pi]=\pi$

\hat{π}

$\hat\pi$

logit (\hat{π})

$\text{logit}(\hat\pi)$

(0, 1)

$(0,1)$

R

$\mathbb R$

— gung - Réintégrer Monica

Je suis d' accord que le plus probable qu'une telle fonction existe, même si nous élargissons la condition à la collecte d' échantillons multiples. Si tel est le cas, cependant, je serais toujours intéressé à voir une preuve qu'une telle fonction n'existe pas.

f

$f$

— yves

L'expression est une expression théorique à laquelle on arrive généralement en essayant de déterminer les propriétés de l'estimateur, impartialité dans ce cas. Mais ce n'est pas la forme fonctionnelle réelle de l'estimateur, car il contient le paramètre inconnu . Afin d'explorer de manière significative votre question, nous avons besoin de l'expression de en fonction des données. Cela ne peut pas être répondu en général.

\hat{θ} = θ + w

$\hat{\theta} = \theta + w$

θ

$\theta$

\hat{θ}

$\hat \theta$

— Alecos Papadopoulos

J'ai la même question! Plus précisément, la question est de savoir s'il existe et une fonction mesurable telle queJe crois que la réponse est non, mais je cherche une preuve que ce n'existe pas.

- \infty < a < b < \infty

$-\infty< a < b < \infty$

f : R \to [a, b]

$f : \mathbb{R} \to [a,b]$

\forall μ \in [0, 1] \underset{X \leftarrow N (μ, 1)}{E} [F (X)] = μ .

$\forall \mu \in [0,1] ~~~~~ \underset{X \leftarrow \mathcal{N}(\mu,1)}{\mathbb{E}}[ f(X) ] = \mu.$

f

$f$

— Thomas

Je présenterai les conditions dans lesquelles un estimateur sans biais reste sans biais, même après avoir été borné. Mais je ne suis pas sûr qu'ils représentent quelque chose d'intéressant ou d'utile.

Soit un estimateur $\hat \theta$ du paramètre inconnu $\theta$ d'une distribution continue, et $E(\hat \theta) =\theta$ .

Supposons que, pour certaines raisons, sous échantillonnage répété, nous voulons que l’estimateur produise des estimations $[\delta_l,\delta_u]$ . Nous supposons que $\theta \in [\delta_l,\delta_u]$ et nous pouvons donc écrire quand cela est commode l'intervalle comme $[\theta-a,\theta+b]$ avec $\{a,b\}$ nombres positifs mais bien sûr inconnus.

Alors l'estimateur contraint est

{\hat{θ}}_{c} = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{u} \\ δ_{u} & δ_{u} < \hat{θ} \end{matrix}}

$\hat \theta_c = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$

et sa valeur attendue est

\begin{aligned} E ({\hat{θ}}_{c}) & = δ_{l} \cdot P [\hat{θ} \leq δ_{l}] \\ + E (\hat{θ} ∣ δ_{l} \leq \hat{θ} \leq δ_{u}) \cdot P [δ_{l} \leq \hat{θ} \leq δ_{u}] \\ + δ_{u} \cdot P [\hat{θ} > δ_{u}] \end{aligned}

$\begin{align} E(\hat \theta_c) &= \delta_l\cdot P[\hat \theta \leq \delta_l] \\&+ E(\hat \theta \mid \delta_l \leq\hat \theta \leq\delta_u )\cdot P[\delta_l \leq\hat \theta \leq \delta_u] \\ &+\delta_u\cdot P[\hat \theta > \delta_u]\end{align}$

Définissez maintenant les fonctions d'indicateur

I_{l} = I (\hat{θ} \leq δ_{l}), I_{m} = I (δ_{l} \leq \hat{θ} \leq δ_{l}), I_{u} = I (\hat{θ} > δ_{u})

$I_l = I(\hat \theta \leq \delta_l),\;\; I_m = I(\delta_l\leq \hat \theta \leq \delta_l),\;\; I_u = I(\hat \theta > \delta_u)$

et notez que

\begin{matrix} (1) & I_{l} + I_{u} = 1 - I_{m} \end{matrix}

$I_l + I_u = 1- I_m \tag{1}$

en utilisant ces fonctions d'indicateur et intégrales, nous pouvons écrire la valeur attendue de l'estimateur contraint comme ( $f(\hat \theta)$ est la fonction de densité de $\hat \theta$ ),

E ({\hat{θ}}_{c}) = \int_{- \infty}^{\infty} δ_{l} f (\hat{θ}) I_{l} d \hat{θ} + \int_{- \infty}^{\infty} \hat{θ} f (\hat{θ}) I_{m} d \hat{θ} + \int_{- \infty}^{\infty} δ_{u} f (\hat{θ}) I_{u} d \hat{θ}

$E(\hat \theta_c) = \int_{-\infty}^{\infty}\delta_lf(\hat \theta)I_ld\hat \theta + \int_{-\infty}^{\infty}\hat \theta f(\hat \theta)I_md\hat \theta + \int_{-\infty}^{\infty} \delta_uf(\hat \theta)I_ud\hat \theta$

= \int_{- \infty}^{\infty} f (\hat{θ}) [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] d \hat{θ}

$=\int_{-\infty}^{\infty}f(\hat \theta)\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big]d\hat \theta$

\begin{matrix} (2) & = E [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] \end{matrix}

$=E\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big] \tag{2}$

En décomposant les bornes supérieure et inférieure, nous avons

E ({\hat{θ}}_{c}) = E [(θ - a) I_{l} + \hat{θ} I_{m} + (θ + b) I_{u}]

$E(\hat \theta_c) = E\Big[(\theta-a)I_l + \hat \theta I_m + (\theta+b)I_u\Big]$

= E [θ \cdot (I_{l} + I_{u}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$=E\Big[\theta\cdot(I_l+I_u) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

et en utilisant $(1)$ ,

= E [θ \cdot (1 - I_{m}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$= E\Big[\theta\cdot(1-I_m) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

\begin{matrix} (3) & \Rightarrow E ({\hat{θ}}_{c}) = θ + E [(\hat{θ} - θ) {je}_{m}] - une E ({je}_{l}) + b E ({je}_{u}) \end{matrix}

$\Rightarrow E(\hat \theta_c) = \theta +E\big[(\hat \theta -\theta)I_m\big]-aE(I_l)+bE(I_u) \tag {3}$

Maintenant, depuis $E(\hat \theta) = \theta$ on a

E [(\hat{θ} - θ) {je}_{m}] = E (\hat{θ} {je}_{m}) - E (\hat{θ}) E ({je}_{m})

$E\big[(\hat \theta -\theta)I_m\big] = E\big(\hat \theta I_m\big) - E(\hat \theta)E(I_m)$

Mais

E (\hat{θ} I_{m}) = E (\hat{θ} I_{m} ∣ I_{m} = 1) E (I_{m}) = E (\hat{θ}) E (I_{m})

$E\big(\hat \theta I_m\big) = E\big(\hat \theta I_m\mid I_m=1\big)E(I_m) = E\big(\hat \theta \big)E(I_m)$

Par conséquent, $E\big[(\hat \theta -\theta)I_m\big] =0$ et donc

\begin{matrix} (4) & \begin{aligned} E ({\hat{θ}}_{c}) & = θ - a E (I_{l}) + b E (I_{u}) \\ = θ - a P (\hat{θ} \leq δ_{l}) + b P (\hat{θ} > δ_{u}) \end{aligned} \end{matrix}

$\begin{align} E(\hat \theta_c) &= \theta -aE(I_l)+bE(I_u) \\ &= \theta -aP(\hat \theta \leq \delta_l)+bP(\hat \theta > \delta_u)\end{align}\tag {4}$

Ou bien

\begin{matrix} (4a) & E ({\hat{θ}}_{c}) = θ - (θ - δ_{l}) P (\hat{θ} \leq δ_{l}) + (δ_{u} - θ) P (\hat{θ} > δ_{u}) \end{matrix}

$E(\hat \theta_c) = \theta -(\theta-\delta_l)P(\hat \theta \leq \delta_l)+(\delta_u-\theta)P(\hat \theta > \delta_u)\tag {4a}$

Par conséquent, à partir de $(4)$ , nous voyons que pour que l'estimateur contraint soit également sans biais, nous devons avoir

\begin{matrix} (5) & a P (\hat{θ} \leq δ_{l}) = b P (\hat{θ} > δ_{u}) \end{matrix}

$aP(\hat \theta \leq \delta_l) = bP(\hat \theta > \delta_u) \tag {5}$

Quel est le problème avec la condition $(5)$ ? Il implique les nombres inconnus $\{a,b\}$ , donc en pratique nous ne pourrons pas réellement déterminer un intervalle pour délimiter l'estimateur et le garder sans biais.

Mais disons qu'il s'agit d'une expérience de simulation contrôlée, où nous voulons étudier d'autres propriétés des estimateurs, étant donné l'impartialité. Ensuite, nous pouvons "neutraliser" $a$ et $b$ en définissant $a=b$ , ce qui crée essentiellement un intervalle symétrique autour de la valeur de $\theta$ ... Dans ce cas, pour atteindre l'impartialité, nous devons plus $P(\hat \theta \leq \delta_l) = P(\hat \theta > \delta_u)$ , c'est-à-dire que nous devons avoir que la masse de probabilité de l' estimateur non contraint est égale à la gauche et à la droite de la (symétrique autour de $\theta$ ) intervalle ...

... et nous apprenons donc que (comme conditions suffisantes), si la distribution de l'estimateur non contraint est symétrique autour de la valeur vraie, alors l'estimateur contraint dans un intervalle symétrique autour de la valeur vraie sera également non biaisé ... mais c'est presque trivialement évident ou intuitif, n'est-ce pas?

Cela devient un peu plus intéressant, si nous réalisons que la condition nécessaire et suffisante (étant donné un intervalle symétrique) a) ne nécessite pas une distribution symétrique , seulement une masse de probabilité égale "dans la queue" (et cela n'implique pas à son tour que le la distribution de la masse dans chaque queue doit être identique) et b) permet qu'à l'intérieur de l'intervalle, la densité de l'estimateur puisse avoir n'importe quelle forme non symétrique compatible avec le maintien de l'impartialité - cela rendra l'estimateur contraint sans biais.

APPLICATION: Le cas du PO
Notre estimateur est $\hat \theta = \theta + w,\;\; w \sim N(0,1)$ et donc $\hat \theta \sim N(\theta,1)$ . Ensuite, en utilisant $(4)$ en écrivant $a,b$ en terme de $\theta, \delta$ , nous avons, pour l'intervalle de délimitation $[0,1]$ ,

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} \leq 0) + (1 - θ) P (\hat{θ} > 1)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta \leq 0) +(1-\theta)P(\hat \theta > 1)$

La distribution est symétrique autour $\theta$ . Transformer ( $\Phi()$ est le CDF normal standard)

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} - θ \leq - θ) + (1 - θ) P (\hat{θ} - θ > 1 - θ)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta-\theta \leq -\theta) +(1-\theta)P(\hat \theta -\theta > 1-\theta)$

= θ - θ Φ (- θ) + (1 - θ) [1 - Φ (1 - θ)]

$=\theta -\theta \Phi(-\theta) +(1-\theta)[1-\Phi(1-\theta)]$

On ne peut vérifier que les conditions supplémentaires ne s’annulent que si $\theta =1/2$ , à savoir uniquement si l'intervalle de délimitation est également symétrique autour de $\theta$ .

— Alecos Papadopoulos
source

Je ne pense pas que cela réponde à la question. Vous analysez la troncature. La question n'est pas "La troncature fonctionne-t-elle?", Mais plutôt "Existe-t-il une alternative à la troncature qui fonctionne?". OP semble être conscient que la troncature ne fonctionne pas.

— Thomas

@Thomas L'OP demande (dernière phrase du post de l'OP) si nous pouvons avoir un estimateur borné qui est également non biaisé. Je présente d'abord un traitement général de la question puis une application directement dans les locaux du PO. Je ne comprends pas pourquoi cela "ne répond pas à la question".

— Alecos Papadopoulos

Vous supposez une forme fonctionnelle spécifique pour l'estimateur, à savoir

F (\hat{θ}) = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{u} \\ δ_{u} & δ_{u} < \hat{θ} \end{matrix}}

$f(\hat \theta) = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$ pour certains

δ_{l}, δ_{u} \in R

$\delta_l,\delta_u \in \mathbb{R}$ . Mon interprétation est que la question porte sur tout estimateur borné

f

$f$ , pas seulement des estimateurs avec cette forme fonctionnelle. Par exemple,

f (\hat{θ}) = \sin (\hat{θ})

$f(\hat \theta) = \sin(\hat \theta)$ serait un estimateur borné (mais pas utile cependant).

— Thomas

(Je commente cette question vieille de plusieurs années parce que j'ai la même question. En particulier, la question qui m'intéresse concerne les estimateurs bornés arbitrairement.)

— Thomas

@Thomas Il est vrai que mes explorations ne traitent pas le bornage dans sa plus grande généralité. Il est également vrai qu'une fois que vous avez composé l'estimateur avec une fonction non linéaire, il doit en général être biaisé, comme condition nécessaire pour que la transformation ne soit pas biaisée.

— Alecos Papadopoulos