Pourquoi la famille exponentielle n'inclut-elle pas toutes les distributions?

Je lis le livre:

Bishop, Reconnaissance des formes et apprentissage automatique (2006)

qui définit la famille exponentielle comme des distributions de la forme (Eq. 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Mais je ne vois aucune restriction placée sur ou . Cela ne signifie-t-il pas que n'importe quelle distribution peut être mise sous cette forme, par un choix approprié de et (en fait une seule d'entre elles doit être choisie correctement!)? Alors, comment se fait-il que la famille exponentielle n'inclut pas toutes les distributions de probabilité? Qu'est-ce que je rate? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Enfin, une question plus particulière qui m'intéresse est la suivante: la distribution de Bernoulli est-elle dans la famille exponentielle ? Wikipedia le prétend, mais comme je suis visiblement confus à propos de quelque chose ici, j'aimerais voir pourquoi.

mathematical-statistics exponential-family

— Becko
source

pour la preuve que la distribution de Bernoulli est dans la famille exponentielle, essayez d'utiliser le fait que et voyez où cela vous

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$

— mène

Juste pour clarifier, demandez-vous si une distribution peut être écrite sous cette forme, ou si une famille de distributions peut être écrite sous cette forme? Vous semblez avoir obtenu des réponses à cette dernière question.

— Owen

@Owen Oui, je vois maintenant que c'est le point crucial. Bien que toute distribution puisse être écrite sous cette forme (en définissant manière appropriée et ), cela n'implique pas qu'une famille puisse être écrite sous cette forme.

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

— Becko

@becko, c'est exactement ça. La formulation du texte, "la famille exponentielle", est quelque peu trompeuse, car il n'y a pas qu'une seule famille exponentielle; au contraire, chaque choix de donne naissance à une famille. Beaucoup d'auteurs disent plutôt "une famille exponentielle", ce qui rend cela plus clair; par exemple, voir la page Wikipedia: en.wikipedia.org/wiki/Family_exponentielle

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko Je pense que votre argument montre que toute distribution donnée peut être un membre d' une famille exponentielle, mais pas qu'une famille de distributions peut être une famille exponentielle.

— Matthew Drury

Réponses:

Eh bien, une conséquence de votre définition: est que le support de la famille de distribution indexée par le paramètre ne dépend pas de . (Le support d'une distribution de probabilité est la (fermeture de) le moins réglé avec une probabilité, ou en d'autres termes, où la distribution vit .) Il suffit donc de donner un contre-exemple d'une famille de distribution avec support en fonction du paramètre, l'exemple le plus simple est la famille de distributions uniformes suivante:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (l'autre réponse de @Chaconne donne un contre-exemple plus sophistiqué).

— kjetil b halvorsen
source

Considérons la distribution non centrale de Laplace

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

À moins que vous ne pourrez pas écrirecomme un produit intérieur entre et une fonction de . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

La famille exponentielle comprend la grande majorité des belles distributions nommées que nous rencontrons couramment, donc au début, il peut sembler qu'elle a tout d'intérêt, mais elle n'est en aucun cas exhaustive.

— jld
source