Distribution d'échantillonnage des coefficients de régression

J'ai précédemment appris sur les distributions d'échantillonnage qui ont donné des résultats qui étaient pour l'estimateur, en termes de paramètre inconnu. Par exemple, pour les distributions d'échantillonnage de et dans le modèle de régression linéaire $\hat\beta_0$ $\hat\beta_1$ $Y_i = \beta_o + \beta_1 X_i + \varepsilon_i$

{\hat{β}}_{0} \sim N (β_{0}, σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}))

$\hat{\beta}_0 \sim \mathcal N \left(\beta_0,~\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{S_{xx}}\right)\right)$ et

{\hat{β}}_{1} \sim N (β_{1}, \frac{σ^{2}}{S_{x x}})

$\hat{\beta}_1 \sim \mathcal N \left(\beta_1,~\frac{\sigma^2}{S_{xx}}\right)$

où $S_{xx} = \sum_{i=1}^n (x_i^2) -n \bar{x}^2$

Mais maintenant, j'ai vu ce qui suit dans un livre :

Supposons que nous ajustions le modèle par les moindres carrés de la manière habituelle. Considérez la distribution bayésienne postérieure, et choisissez des a priori pour que cela soit équivalent à la distribution d'échantillonnage fréquentiste habituelle, c'est-à-dire ......

$(\begin{matrix} β_{0} \\ β_{1} \end{matrix}) \sim N_{2} [(\begin{matrix} {\hat{β}}_{1} \\ {\hat{β}}_{2} \end{matrix}), {\hat{σ}}^{2} {(\begin{matrix} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{matrix})}^{- 1}]$ $\left( \begin{matrix} \beta_0 \\ \beta_1 \end{matrix} \right) \sim \mathcal N_2\left[\left(\begin{matrix} \hat{\beta}_1 \\ \hat{\beta}_2 \end{matrix} \right),~\hat{\sigma}^2 \left(\begin{matrix} n & \sum_{i=1}^{n}x_i \\ \sum_{i=1}^{n}x_i & \sum_{i=1}^{n}x_i^2 \end{matrix} \right) ^{-1}\right]$

Cela m'embrouille parce que:

Pourquoi les estimations apparaissent-elles à gauche (lhs) des 2 premières expressions et à droite (rhs) de la dernière expression?
Pourquoi les chapeaux bêta de la dernière expression ont-ils 1 et 2 indices au lieu de 0 et 1?
S'agit-il simplement de représentations différentes de la même chose? S'ils le sont, quelqu'un pourrait-il me montrer comment ils sont équivalents? Sinon, quelqu'un pourrait-il expliquer la différence?
Est-il vrai que la dernière expression est "l'inversion" des deux premières? Est-ce la raison pour laquelle la matrice 2x2 dans la dernière expression est inversée et les estimations / paramètres sont commutés de rhs lhs? Si oui, quelqu'un pourrait-il me montrer comment passer de l'un à l'autre? $\leftrightarrow$

— Joe King
source

Cette partie concerne principalement vos première, troisième et quatrième questions:

Il y a une différence fondamentale entre les statistiques bayésiennes et les statistiques fréquentistes.

Les statistiques Frequentist permettent de déduire quelles valeurs de paramètres fixes sont cohérentes avec les données considérées comme aléatoires, généralement via la vraisemblance. Vous prenez (un ou plusieurs paramètres) comme fixes mais inconnus, et voyez ceux qui rendent les données plus probables; il examine les propriétés de l'échantillonnage à partir d'un modèle donné les paramètres pour faire l'inférence sur l'endroit où les paramètres pourraient être. (Un bayésien pourrait dire que l'approche fréquentiste est basée sur «la fréquence des choses qui ne se sont pas produites») $\theta$

La statistique bayésienne examine les informations sur les paramètres en termes de distribution de probabilité sur eux, qui est mise à jour par les données, via la vraisemblance. Les paramètres ont des distributions, donc regardez . $P(\theta|\underline{x})$

Il en résulte des choses qui se ressemblent souvent mais où les variables dans l'une semblent «à l'envers» vues à travers l'objectif de l'autre façon de penser.

Donc, fondamentalement, ce sont des choses quelque peu différentes , et le fait que les choses qui sont sur le LHS de l'un soient sur le RHS de l'autre n'est pas un hasard.

Si vous travaillez avec les deux, cela devient rapidement assez clair.

La deuxième question me semble concerner simplement une faute de frappe.

---

l'énoncé «équivalent à la distribution d'échantillonnage fréquentiste habituelle, c'est-à-dire»: j'ai compris que les auteurs indiquaient la distribution d'échantillonnage fréquentiste. Ai-je mal lu cela?

Il y a deux choses qui se passent là-bas - ils ont exprimé quelque chose un peu vaguement (les gens font tout le temps ce genre particulier d'expressions lâches), et je pense que vous l'interprétez également différemment de l'intention.

Que signifie exactement l'expression qu'ils donnent alors?

Espérons que la discussion ci-dessous aidera à clarifier le sens souhaité.

Si vous pouvez fournir une référence (de préférence en ligne car je n'ai pas un bon accès à la bibliothèque) où cette expression est dérivée, je vous en serais reconnaissant.

Il s'ensuit d'ici:

http://en.wikipedia.org/wiki/Bayesian_linear_regression

en prenant des a priori plats sur et je pense aussi un a priori plat pour . $\beta$ $\sigma^2$

La raison en est que le postérieur est ainsi proportionnel à la vraisemblance et les intervalles générés par les postérieurs sur les paramètres correspondent aux intervalles de confiance fréquentiste pour les paramètres.

Vous pouvez également trouver les premières pages ici utiles.

— Glen_b -Reinstate Monica
source

Merci, c'est utile. J'ai déjà fait un peu de statistiques bayésiennes. Je suis cependant quelque peu confus, à cause de la déclaration «équivalente à la distribution d'échantillonnage fréquentiste habituelle, c'est-à-dire» : j'ai compris que les auteurs indiquaient la distribution d'échantillonnage fréquentiste. Ai-je mal lu cela? Que signifie exactement l'expression qu'ils donnent alors? Si vous pouvez fournir une référence (de préférence en ligne car je n'ai pas un bon accès à la bibliothèque) où cette expression est dérivée, je vous serais reconnaissant.

— Joe King

Joe - voir mon montage ci

— Glen_b -Reinstate Monica