Combien de calcul est nécessaire pour comprendre l'estimation du maximum de vraisemblance?

J'essaie de planifier un plan d'étude pour apprendre le MLE. Pour ce faire, j'essaie de déterminer quel est le niveau minimum de calcul nécessaire pour comprendre le MLE.

Est-il suffisant de comprendre les bases du calcul (c'est-à-dire trouver le minimum et le maximum de fonctions) pour comprendre le MLE?

Pour développer mon commentaire - cela dépend. Si vous essayez seulement de comprendre les bases, être en mesure de trouver des fonctions extrêmes vous permet d'obtenir un moyen équitable (bien que dans de nombreux cas pratiques de MLE, la probabilité soit maximisée numériquement, auquel cas vous avez besoin d'autres compétences ainsi que d'autres calcul de base).

Je laisse de côté les beaux cas simples où vous obtenez des solutions algébriques explicites. Même ainsi, le calcul est souvent très utile.

Je vais assumer l'indépendance tout au long. Prenons le cas le plus simple possible de l'optimisation à 1 paramètre. Nous allons d'abord examiner un cas où nous pouvons prendre des dérivées et séparer une fonction du paramètre et une statistique.

Considérons la densité $\rm{Gamma}(\alpha,1)$

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

Ensuite, pour un échantillon de taille $n$ , la probabilité est

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

et donc la log-vraisemblance est

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ $S_x=\sum_{i=1}^n\ln{x_i}$

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

$\psi(\cdot)$$G(\cdot)$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

$g=\ln{G(\mathbf{x})}$

Cela n'a pas de solution en termes de fonctions élémentaires, il faut le calculer numériquement; au moins, nous avons pu obtenir une fonction du paramètre d'un côté et une fonction des données de l'autre. Il existe différents algorithmes de recherche de zéro qui peuvent être utilisés si vous ne disposez pas d'un moyen explicite de résoudre l'équation (même si vous êtes sans dérivées, il y a une section binaire, par exemple).

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ $\mu$

$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

En général, la probabilité ici n'a pas un maximum local unique, mais plusieurs maxima locaux. Si vous trouvez un maximum local, il peut y en avoir un autre, plus grand ailleurs. (Parfois, les gens se concentrent sur l'identification du maximum local le plus proche de la médiane, ou quelque chose du genre.)

$(0,\theta)$

Dans d'autres cas, l'espace des paramètres peut être discret.

Parfois, trouver le maximum peut être assez compliqué.

Et ce n'est qu'un échantillon des problèmes avec un seul paramètre. Lorsque vous avez plusieurs paramètres, les choses sont à nouveau plus impliquées.

$\mathbb{R}^p \to \mathbb{R}$

Une installation avec des logarithmes sera certainement utile, car maximiser le logarithme de la probabilité est généralement beaucoup plus facile que de maximiser la probabilité elle-même.

$\mathbb{R}^p \to \mathbb{R}$