Valeur attendue de l'estimation du paramètre de la pièce de la probabilité maximale

Supposons que j'ai une expérience de lancer de pièces dans laquelle je veux calculer l'estimation de vraisemblance maximale du paramètre de pièce lors du lancement de la pièce fois. Après avoir calculé la dérivée de la fonction de vraisemblance binomiale , j'obtiens la valeur optimale pour pour être , étant le nombre de succès. $p$ $n$ $L(p) = { n \choose x } p^x (1-p)^{n-x}$ $p$ $p^{*} = \frac{x}{n}$ $x$

Mes questions sont maintenant:

Comment calculer la valeur / variance attendue de cette estimation du maximum de vraisemblance pour $p$ ?
Dois-je calculer la valeur / variance attendue pour $L(p^{*})$ ?
Si oui, comment ferais-je cela?

— Manu
source

Je suppose que c'est une sorte d'auto-apprentissage (vous devez le marquer comme tel). Que veux-tu exactement? Faites-vous l'inférence sur votre paramètre?

— pkofod

Que voulez-vous dire par inférence sur le paramètre? Je ne sais pas trop comment je calculerais la valeur / variance attendue pour la quantité . Je veux dire, je sais ce qu'est la moyenne / variance et comment la calculer pour des exemples simples, mais je ne comprends pas comment l'appliquer à .

p^{*}

$p^{*}$

p^{*}

$p^{*}$

— Manu

Réponses:

Tout d'abord, c'est une question d'auto-étude, donc je vais entrer trop dans chaque petit détail technique, mais je ne vais pas non plus me lancer dans une frénésie de dérivation. Il y a plusieurs façons de procéder. Je vais vous aider en utilisant les propriétés générales de l'estimateur du maximum de vraisemblance.

Informations d'arrière-plan

Afin de résoudre votre problème, je pense que vous devez étudier le maximum de probabilité dès le début. Vous utilisez probablement une sorte de manuel, et la réponse devrait être là quelque part. Je vais vous aider à savoir quoi rechercher.

Le maximum de vraisemblance est une méthode d'estimation qui est fondamentalement ce que nous appelons un estimateur M (pensez au «M» comme «maximiser / minimiser»). Si les conditions requises pour utiliser ces méthodes sont remplies, nous pouvons montrer que les estimations des paramètres sont cohérentes et asymptotiquement distribuées normalement, nous avons donc:

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1} B_{0} A_{0}^{- 1}),

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}),$

où et sont des matrices. Lorsque nous utilisons le maximum de vraisemblance, nous pouvons montrer que , et donc nous avons une expression simple: Nous avons où désigne la toile de jute. C'est ce que vous devez estimer afin d'obtenir votre variance. $A_0$ $B_0$ $A_0=B_0$

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1}) .

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}).$

A_{0} \equiv - E (H (θ_{0}))

$A_0\equiv -E(H(\theta_0))$

H

$H$

Votre problème spécifique

Alors comment le fait-on? Appelons ici notre paramètre vector ce que vous faites: . Ceci est juste un scalaire, donc notre "score" n'est que la dérivée et le "hessian" n'est que la dérivée du second ordre. Notre fonction de vraisemblance peut s'écrire: ce que nous voulons maximiser. Vous avez utilisé la dérivée première de ceci ou la probabilité logarithmique pour trouver votre . Au lieu de mettre la dérivée première égale à zéro, nous pouvons différencier à nouveau, pour trouver la dérivée de second ordre . Nous prenons d'abord les journaux: Ensuite, notre «score» est: et notre 'toile de jute': $\theta$ $p$

l (p) = (p)^{x} (1 - p)^{n - x},

$l(p)=(p)^x (1-p)^{n-x},$

p^{*}

$p^*$

H (p)

$H(p)$

l l (p) \equiv \log (l (p)) = x \log (p) + (n - x) \log (1 - p)

$ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p)$

l l^{'} (p) = \frac{x}{p} + \frac{n - x}{1 - p},

$ll'(p)=\frac{x}{p}+\frac{n-x}{1-p},$

H (p) = l l^{″} (p) = - \frac{x}{p^{2}} - \frac{n - x}{(1 - p)^{2}} .

$H(p)=ll''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}.$ Ensuite, notre théorie générale ci-dessus vous indique simplement de trouver . Maintenant, il suffit de prendre l'espérance de (Astuce: utilisez ), multipliez par et prenez l'inverse. Ensuite, vous aurez votre variance de l'estimateur.

(- E (H (p)))^{- 1}

$(-E(H(p)))^{-1}$

H (p)

$H(p)$

E (x / n) = p

$E(x/n)=p$

- 1

$-1$

— pkofod
source

Est correcte?

V a r (p) = \frac{p^{2} - 1}{n} - \frac{1}{n p}

$Var(p) = \frac{p^2-1}{n} - \frac{1}{np}$

— Manu

@Manu: Pas tout à fait, mais on dirait que vous venez de faire une petite erreur quelque part. Pouvez-vous publier quelques étapes supplémentaires?

— pkofod

(- E (H (p)))^{- 1} = E (- H (p))^{- 1]} = (E (\frac{x}{p^{2}}) + E (\frac{n - x}{(1 - p)^{2}}))^{- 1} = (p^{- 2} n p + (1 - p)^{- 2} (n - n p))^{- 1}

$(-E(H(p)))^{-1} = E(-H(p))^{-1]} = (E(\frac{x}{p^2}) + E(\frac{n-x}{(1-p)^2}))^{-1} = ( p^{-2}np + (1-p)^{-2}(n -np) )^{-1}$ . à partir de là, j'ai simplifié en multipliant et en prenant l'inverse.

— Manu

C'est tout à fait correct, maintenant simplifiez simplement. Dans la première partie p annule, et dans la seconde partie vous pouvez prendre n en dehors de la parenthèse.

— pkofod

(n / p + n / [1 - p])^{- 1}

$(n/p+n/[1-p])^{-1}$ est ce que vous avez ci-dessus. Il suffit de factoriser le , de mettre un dénominateur commun, puis de prendre l'inverse.

n

$n$

— ekvall

Pour commencer, faisons la valeur attendue:

Si est le nombre de succès dans lancers, alors est la proportion de succès dans votre échantillon. Considérez ; pour chaque lancer, la probabilité de réussite est selon les hypothèses, donc lorsque vous lancez la pièce une fois le "nombre de succès" attendu est , non? Ainsi, si vous lancez la pièce fois, vous vous attendez à un succès fois car les lancers sont indépendants. Ensuite, puisque est le nombre de succès attendus en lancers, vous obtenez $x$ $n$ $x/n$ $\mathbb{E}x$ $p$ $p\times1+(1-p)\times 0=p$ $n$ $np$ $np$ $n$

E p^{*} = E n^{- 1} x = n^{- 1} E x = n^{- 1} \times n p = p

$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$

L'estimateur est donc sans biais. Pouvez-vous comprendre comment faire l'écart à partir d'ici?

Edit: Faisons aussi la variance. Nous utilisons cela . Le deuxième terme que nous avons déjà du calcul de la valeur attendue, alors faisons le premier: Pour simplifier certains , nous pouvons exprimer le nombre de succès en lancers comme suit: où prend la valeur 1 si le lancer été un succès et 0 sinon. Par conséquent, et ainsi mettre les choses ensemble vous arrivez à . $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$

E p {^{*}}^{2} = n^{- 2} E x^{2}

$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$

n

$n$

x = \sum_{1}^{n} χ_{i},

$x=\sum_1^n\chi _i,$

χ_{i}

$\chi_i$

i

$i$

E x^{2} = E (\sum_{1}^{n} χ_{i})^{2} = E [\sum_{1}^{n} χ_{i}^{2} + 2 \sum_{i < j} χ_{i} χ_{j}] = n p + n (n - 1) p^{2},

$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$

Var (p^{*}) = \frac{p (1 - p)}{n}

$\text{Var}(p^*)=\frac{p(1-p)}{n}$

— ekvall
source

Si vous lancez têtes d'affilée, votre . Mais quelle valeur exacte Var ( ) prendrait-il?

n = 3

$n=3$

p_{M L E} = 1.0

$p_{MLE} =1.0$

p^{*}

$p^*$

— piccolo