Comment dériver la fonction de vraisemblance de la distribution binomiale pour l'estimation des paramètres?

Selon Miller and Freund's Probability and Statistics for Engineers, 8ed (pp.217-218), la fonction de vraisemblance à maximiser pour la distribution binomiale (essais de Bernoulli) est donnée comme suit :

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

Comment arriver à cette équation? Cela me semble assez clair concernant les autres distributions, Poisson et Gaussienne;

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

Mais celui du binôme est juste un peu différent. Pour être simple, comment

$nC_x~p^x(1-p)^{n-x}$

devenir

$p^{x_i}(1-p)^{1-x_i}$

dans la fonction de vraisemblance ci-dessus?

Dans l'estimation du maximum de vraisemblance, vous essayez de maximiser ; cependant, maximiser cela équivaut à maximiser pour un fixe . p x ( 1 - p ) n - x$nC_x~p^x(1-p)^{n-x}$$p^x(1-p)^{n-x}$$x$

En fait, la probabilité pour le gaussien et le poisson n'implique pas non plus leurs constantes de tête, donc ce cas est tout comme ceux comme w

---

Adressage des PO Commentaire

Voici un peu plus de détails:

Premièrement, est le nombre total de succès tandis que est un essai unique (0 ou 1). Par conséquent:x $x$$x_i$

$$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$$

Cela montre comment vous obtenez les facteurs de probabilité (en exécutant les étapes ci-dessus à l'envers).

Pourquoi la constante disparaît-elle? De manière informelle, et ce que la plupart des gens font (y compris moi), c'est juste que la constante principale n'affecte pas la valeur de qui maximise la probabilité, nous l'ignorons donc (définissez-la effectivement sur 1).$p$

Nous pouvons dériver cela en prenant le log de la fonction de vraisemblance et en trouvant où sa dérivée est nulle:

$$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$$

Prenez la dérivée par rapport à et mettez-la à :$p$$0$

$$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$$

$$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$$

Notez que la constante de tête a été supprimée du calcul du MLE.

Plus philosophiquement, une vraisemblance n'a de sens que pour l'inférence jusqu'à une constante multiplicative, de sorte que si nous avons deux fonctions de vraisemblance et , alors elles sont inférentiellement équivalentes. C'est ce qu'on appelle la loi de vraisemblance . Par conséquent, si nous comparons différentes valeurs de utilisant la même fonction de vraisemblance, le terme principal devient non pertinent.$L_1,L_2$$L_1=kL_2$$p$

Sur le plan pratique, l'inférence utilisant la fonction de vraisemblance est en fait basée sur le rapport de vraisemblance, et non sur la valeur absolue de la vraisemblance. Cela est dû à la théorie asymptotique des rapports de vraisemblance (qui sont asymptotiquement chi carré - soumis à certaines conditions de régularité qui sont souvent appropriées). Les tests du rapport de vraisemblance sont favorisés en raison du lemme de Neyman-Pearson . Par conséquent, lorsque nous tentons de tester deux hypothèses simples, nous prenons le rapport et le facteur principal commun s'annule.

REMARQUE: cela ne se produira pas si vous comparez deux modèles différents, par exemple un binôme et un poisson. Dans ce cas, les constantes sont importantes.

Parmi les raisons ci-dessus, la première (non pertinente pour trouver le maximiseur de L) répond le plus directement à votre question.

xi dans le produit fait référence à chaque essai individuel. Pour chaque essai individuel, xi peut être 0 ou 1 et n est toujours égal à 1. Par conséquent, de manière triviale, le coefficient binomial sera égal à 1. Par conséquent, dans la formule de produit pour la vraisemblance, le produit des coefficients binomiaux sera 1 et donc il n'y a pas de nCx dans la formule. Réalisé tout en travaillant étape par étape :) (Désolé pour le formatage, pas habitué à répondre avec des expressions mathématiques dans les réponses ... pour l'instant :))