Avantages de la famille exponentielle: pourquoi devrions-nous l'étudier et l'utiliser?

Alors là, j'étudie l'inférence. J'aimerais que quelqu'un puisse énumérer les avantages de la famille exponentielle. Par famille exponentielle, je veux dire les distributions qui sont données comme

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

dont le support ne dépend pas du paramètre $\theta$ . Voici quelques avantages que j'ai découverts:

(a) Il intègre une grande variété de distributions.

(b) Il offre une statistique $T(x)$ naturelle suffisante selon le théorème de Neyman-Fisher.

(d) Il permet de découpler facilement la relation entre la réponse et le prédicteur de la distribution conditionnelle de la réponse (via les fonctions de liaison).

Quelqu'un peut-il fournir un autre avantage?

self-study exponential-family

— user1337
source

pour assurer la généralité des réponses: existe-t-il des PDF utiles qui ne font pas partie de la famille exponentielle?

— meduz

Réponses:

... pourquoi devrions-nous l'étudier et l'utiliser?

Je pense que votre liste d'avantages répond efficacement à votre propre question, mais permettez-moi de proposer quelques commentaires méta-mathématiques qui pourraient éclairer ce sujet. D'une manière générale, les mathématiciens aiment généraliser les concepts et les résultats jusqu'au point maximal qu'ils peuvent, dans les limites de leur utilité. Autrement dit, lorsque les mathématiciens développent un concept et découvrent qu'un ou plusieurs théorèmes utiles s'appliquent à ce concept, ils chercheront généralement à généraliser de plus en plus le concept et les résultats, jusqu'à ce qu'ils parviennent au point où une généralisation supplémentaire rendrait les résultats inapplicables. ou plus utile. Comme vous pouvez le voir dans votre liste, la famille exponentielle a un certain nombre de théorèmes utiles qui lui sont attachés, et elle englobe une large classe de distributions. Cela suffit pour en faire un objet d'étude digne et une classe mathématique utile dans la pratique.

Quelqu'un peut-il fournir un autre avantage?

Cette classe possède diverses bonnes propriétés dans l'analyse bayésienne. En particulier, les distributions exponentielles des familles ont toujours des antérieurs conjugués, et la distribution prédictive postérieure résultante a une forme simple. Cela fait une classe de distributions extrêmement utile dans les statistiques bayésiennes. En effet, il vous permet d'entreprendre une analyse bayésienne en utilisant des a priori conjugués à un niveau de généralité extrêmement élevé, englobant toutes les familles distributionnelles de la famille exponentielle.

— Réintégrer Monica
source

J'appuie la nomination de "conjugué avant" comme une raison d'aimer la famille exponentielle. En effet, les prieurs conjugués et les statistiques suffisantes jouent très bien ensemble, donc ensemble ils seraient en haut de ma liste de raisons d'utiliser la famille exponentielle.

— Peter Leopold

Ah! Un camarade bayésien que je vois!

— Rétablir Monica

Comment savez-vous que le prédictif postérieur a une forme simple? Par exemple, le prédictif postérieur d'un modèle normal avec une moyenne et une variance inconnues est le T de l'élève non central, à l'échelle. Est-ce une forme simple?

— Neil G

@Neil G: avec les données IID d'une famille exponentielle et un a priori conjugué, la distribution prédictive est un rapport de deux instances de la fonction de normalisation pour l'a priori, où les arguments du dénominateur sont mis à jour en ajoutant la statistique et le nombre d'observations suffisants pour les nouvelles données. Il s'agit d'une forme simple et générale pour la distribution prédictive, qui est obtenue en trouvant le facteur de normalisation pour le congugé avant (voir par exemple la section 9.0.5 de ces notes ).

— Rétablir Monica le

D'accord, je vois. Je n'ai jamais vu ça auparavant, merci.

— Neil G

Je dirais que la motivation la plus convaincante pour les familles exponentielles est qu'elles sont une distribution hypothétique minimale compte tenu des mesures . Si vous avez un capteur à valeur réelle dont les mesures sont résumées par la moyenne et la variance, l'hypothèse minimale que vous pouvez faire à propos de ses observations est qu'elles sont normalement distribuées. Chaque famille exponentielle est le résultat d'un ensemble d'hypothèses similaires.

Jaynes défend ce principe d'entropie maximale:

«La distribution d'entropie maximale peut être affirmée pour la raison positive qu'elle est uniquement déterminée comme celle qui est au maximum sans engagement en ce qui concerne les informations manquantes, au lieu de la négative qu'il n'y avait aucune raison de penser le contraire. Ainsi, le concept d'entropie fournit le critère de choix manquant… »

— Neil G
source