Comment la distribution gamma inverse est-elle liée à et ?

Étant donné que l'estimation postérieure de $\sigma'^{2}$ d'une vraisemblance normale et d'un gamma inverse antérieur sur $\sigma^2$ est:

$$\sigma'^{2}\sim\textrm{IG}\left(\alpha + \frac{n}{2}, \beta +\frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$$

ce qui équivaut à

$$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{n\sigma^2}{2}\right)$$

puisqu'un \ textrm {IG} faible (\ alpha, \ beta)$\textrm{IG}(\alpha, \beta)$ antérieur sur $\sigma^2$ supprime $\alpha$ et $\beta$ de l'équation 1:

$$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$$

Il est évident que l'estimation postérieure de $\sigma^2$ est fonction de la taille de l'échantillon et de la somme des carrés de la vraisemblance. mais qu'est ce que ça veut dire? Il y a une dérivation sur Wikipédia que je ne comprends pas très bien.

J'ai les questions suivantes

1. Puis-je accéder à cette deuxième équation sans invoquer la règle de Bayes? Je suis curieux de savoir s'il y a quelque chose d'inhérent aux paramètres d'une IG qui est lié à la moyenne et à la variance indépendamment de la vraisemblance normale.
2. Puis-je utiliser la taille de l'échantillon et l'écart type d'une étude précédente pour estimer un a priori informé sur , puis mettre à jour l'a priori avec de nouvelles données? Cela semble simple, mais je ne peux trouver aucun exemple de le faire, ni justification pour laquelle ce serait une approche légitime - autre que ce qui peut être vu dans la partie postérieure.$\sigma^2$
3. Y a-t-il un manuel de probabilité ou de statistiques populaire que je peux consulter pour plus d'explications?

Je pense qu'il est plus correct de parler de la distribution postérieure de votre paramètre plutôt que de son estimation postérieure. Pour la clarté des notations, je laisserai tomber le premier dans dans ce qui suit.$\sigma'^{2}$$\sigma'^{2}$

Supposons que soit distribué comme , - je laisse tomber pour l'instant pour faire un exemple heuristique - et est distribué comme et est indépendant de .$X$$\mathcal{N}(0, \sigma^2)$$\mu$$1/\sigma^2 = \sigma^{-2}$$\Gamma(\alpha, \beta)$$X$

Le pdf de donné est gaussien, ie$X$$\sigma^{-2}$

$$f(x|\sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right).$$

Le pdf commun de , est obtenu en multipliant par - le pdf de . Cela sort comme$(X, \sigma^{-2})$$f(x,\sigma^{-2})$$f(x|\sigma^{-2})$$g(\sigma^{-2})$$\sigma^{-2}$

$$f(x, \sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right) \frac{\beta^{\alpha}}{\Gamma(\alpha)}\exp \left(-\frac{\beta}{ \sigma^2}\right)\frac{1}{\sigma^{2(\alpha-1)}}.$$

Nous pouvons regrouper des termes similaires et les réécrire comme suit

$$f(x, \sigma^{-2}) \propto \sigma^{-2(\alpha-1/2)} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$$

La distribution postérieure de est par définition le pdf de étant donné , qui est par la formule de Bayes . Pour répondre à votre question 1. Je ne pense pas qu'il existe un moyen d'exprimer partir de sans utiliser la formule de Bayes. Avec le calcul, nous reconnaissons dans la formule ci-dessus quelque chose qui ressemble à une fonction , donc l'intégration de pour obtenir est assez facile.$\sigma^{-2}$$\sigma^{-2}$$x$$f(x, \sigma^{-2}) / f(x)$$f(\sigma^{-2}|x)$$f(x, \sigma^{-2})$$\Gamma$$\sigma^{-2}$$f(x)$

$$f(x) \propto (\beta + x^2/2)^{-(\alpha+1/2)},$$

donc en divisant on obtient

$$f(\sigma^{-2}|x) \propto \left(\beta + x^2/2 \right) \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right) \\ \propto \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$$

Et ici, dans la dernière formule, nous reconnaissons une distribution avec des paramètres .$\Gamma$$(\alpha + 1/2, \beta + x^2/2)$

Si vous avez un échantillon IID , en intégrant tous les , vous obtiendrez puis comme produit de la termes suivants:$((x_1, \sigma_1^{-2}), ..., (x_n, \sigma^{-2}_n))$$\sigma_i^{-2}$$f(x_1, ..., x_n)$$f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n)$

$$f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n) \propto \prod_{i=1}^n \left( \sigma_i^{-2} \left(\beta + x_i^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma_i^{-2} \left(\beta + x_i^2/2 \right)\right),$$

Qui est un produit des variables . Et nous sommes coincés ici à cause de la multiplicité des . En outre, la distribution de la moyenne de ces variables indépendantes n'est pas simple à calculer.$\Gamma$$\sigma_i^{-2}$$\Gamma$

Cependant, si nous supposons que toutes les observations partagent la même valeur de (ce qui semble être votre cas) c'est -à- dire que la valeur de n'a été tirée qu'une seule fois à partir d'un et que tous les ont ensuite été dessinés avec cette valeur de , on obtient$x_i$$\sigma^{-2}$$\sigma^{-2}$$\Gamma(\alpha, \beta)$$x_i$$\sigma^{-2}$

$$f(x_1, ..., x_n, \sigma^{-2}) \propto \sigma^{-2 (\alpha + n/2)} \exp\left(-\sigma^{-2} \left(\beta + \frac{1}{2} \sum_{i=1}^n x_i^2\right) \right),$$

à partir de laquelle nous dérivons la distribution postérieure de comme votre équation 1 en appliquant la formule de Bayes.$\sigma^{-2}$

La distribution postérieure de est un qui dépend de et , de vos paramètres antérieurs, de la taille de l'échantillon et de la somme des carrés observée. La moyenne antérieure de est et la variance est , donc si et la valeur est très petite, l'a priori porte très peu d'informations sur car la variance devient énorme. Les valeurs étant petites, vous pouvez les supprimer des équations ci-dessus et vous vous retrouvez avec votre équation 3.$\sigma^{-2}$$\Gamma$$\alpha$$\beta$$n$$\sigma^{-2}$$\alpha/\beta$$\alpha/\beta^2$$\alpha = \beta$$\sigma^{-2}$

Dans ce cas, la distribution postérieure devient indépendante de l'a priori. Cette formule dit que l'inverse de la variance a une distribution qui ne dépend que de la taille de l'échantillon et de la somme des carrés. Vous pouvez montrer que pour les variables gaussiennes de moyenne connue, , l'estimateur de la variance, a la même distribution, sauf qu'il est fonction de la taille de l'échantillon et de la valeur réelle du parter . Dans le cas bayésien, c'est la distribution du paramètre, dans le cas fréquentiste, c'est la distribution de l'estimateur.$\Gamma$$S^2$$\sigma^2$

Concernant votre question 2. vous pouvez bien sûr utiliser les valeurs obtenues lors d'une expérience précédente comme vos priors. Parce que nous avons établi un parallèle entre l'interprétation bayésienne et fréquentiste dans ce qui précède, nous pouvons élaborer et dire que c'est comme calculer une variance à partir d'un petit échantillon et collecter ensuite plus de points de données: vous mettriez à jour votre estimation de la variance plutôt que de jeter les premiers points de données.

En ce qui concerne votre question 3. J'aime l' introduction aux statistiques mathématiques de Hogg, McKean et Craig, qui donne généralement le détail de la façon de dériver ces équations.

Pour la question 1, la deuxième équation découle de la règle de Bayes comme vous le faites remarquer, et je ne vois pas comment l'éviter.

Pour la question 2, oui, vous pouvez le faire. Utilisez simplement un a priori de la même forme que votre deuxième équation.

Pour la question 3, je chercherais quelque chose sur les familles exponentielles. Peut-être que quelqu'un recommandera une bonne ressource.