Quelles distributions ont des solutions de forme fermée pour l'estimation du maximum de vraisemblance?

21

Quelles distributions ont des solutions sous forme fermée pour les estimations du maximum de vraisemblance des paramètres à partir d'un échantillon d'observations indépendantes?

distributions mathematical-statistics maximum-likelihood

— Colonel Panic
source

25

Sans perte de généralité appréciable, nous pouvons supposer que la densité de probabilité (ou masse) pour toute observation (sur observations) est strictement positive, ce qui nous permet de l'écrire comme exponentielle $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

pour un vecteur de paramètre . $\theta = (\theta_j)$

L'égalisation du gradient de la fonction log de vraisemblance à zéro (qui trouve les points stationnaires de la vraisemblance, parmi lesquels seront tous les maxima globaux intérieurs s'il en existe un) donne un ensemble d'équations de la forme

\sum_{i} \frac{d g (x_{i}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

un pour chaque . Pour l'un de ces d'avoir une solution prête, nous voudrions pouvoir séparer les termes de la termes . (Tout découle de cette idée clé, motivée par le principe de la paresse mathématique : faites le moins de travail possible; réfléchissez avant de calculer; abordez d'abord les versions faciles des problèmes difficiles.) La façon la plus générale de le faire est de prendre les équations la forme $j$ $x_i$ $\theta$

\sum_{i} (η_{j} (θ) τ_{j} (x_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (x_{i}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

pour les fonctions connues , et , car alors la solution est obtenue en résolvant les équations simultanées $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (x_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

pour . En général, ceux-ci seront difficiles à résoudre, mais à condition que l'ensemble des valeurs de donne des informations complètes sur , nous pourrions utilisez simplement ce vecteur à la place de lui-même (généralisant ainsi quelque peu l'idée d'une solution de "forme fermée", mais d'une manière très productive). Dans un tel cas, l'intégration en ce qui rendements $\theta$ $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (x, θ) = τ_{j} (x) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (x, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(où représente tous les composants de sauf ). Parce que le côté gauche est fonctionnellement indépendant de , nous devons avoir cela pour une fonction fixe ; que ne doit pas du tout dépendre de ; et les sont des dérivés d'une fonction et les sont des dérivés d'une autre fonction , tous deux fonctionnellement indépendants des données. D'où $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ $A(\theta)$

g (x, θ) = H (θ) T (x) - A (θ) + B (x) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Les densités qui peuvent être écrites sous cette forme constituent la fameuse famille Koopman-Pitman-Darmois , ou exponentielle . Il comprend d'importantes familles paramétriques, à la fois continues et discrètes, y compris Gamma, Normal, Chi-carré, Poisson, Multinomial et bien d'autres .

— whuber
source

Et pour ceux qui n'ont pas de formulaires fermés, nous pourrions utiliser l'algorithme EM. Par exemple, considérons le poisson moddel gonflé à zéro: stats.stackexchange.com/questions/32133/…

— Damien

0

Je ne sais pas si je pourrais tous les énumérer. Les exponentielles, normales et binomiales viennent à l'esprit et elles entrent toutes dans la classe des familles exponentielles. La famille exponentielle a sa statistique suffisante dans l'exposant et le mle est souvent une belle fonction de cette statistique suffisante.

— Michael R. Chernick
source

8

Cette question est incroyablement large, mais il semble que le PO demande peut-être ce qui caractérise une distribution qui a une solution de forme fermée pour le MLE plutôt que de demander une liste exhaustive. En tout cas, une liste exhaustive n'est même pas possible.

— Macro

2

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

Thnaks Neil pour l'avoir signalé. Je suppose que toutes les distributions de familles exponentielles n'ont pas de solutions sous forme fermée.

— Michael R. Chernick