Quelle est la différence entre

Supposons que j'ai un échantillon aléatoire $\lbrace x_n ,y_n \rbrace_{n=1}^N$.

Supposer

$$y_n = \beta_0 + \beta_1 x_n + \varepsilon_n$$

et

$$\hat{y}_n = \hat{\beta}_0 +\hat{\beta}_1 x_n$$

Quelle est la différence entre $\beta_1$ et $\hat{\beta}_1$?

$\beta_1$est une idée - elle n'existe pas vraiment dans la pratique. Mais si l'hypothèse de Gauss-Markov tient,$\beta_1$ vous donnerait cette pente optimale avec des valeurs au-dessus et en dessous sur une "tranche" verticale à la variable dépendante formant une belle distribution gaussienne normale des résidus. $\hat \beta_1$ est l'estimation de $\beta_1$ sur la base de l'échantillon.

L'idée est que vous travaillez avec un échantillon d'une population. Votre échantillon forme un nuage de données, si vous voulez. L'une des dimensions correspond à la variable dépendante, et vous essayez d'ajuster la ligne qui minimise les termes d'erreur - dans OLS, il s'agit de la projection de la variable dépendante sur le sous-espace vectoriel formé par l'espace de colonne de la matrice de modèle. Ces estimations des paramètres de population sont notées avec le$\hat \beta$symbole. Plus vous avez de points de données, plus les coefficients estimés sont précis,$\hat \beta_i$ sont, et meilleure est l’estimation de ces coefficients de population idéalisés, $\beta_i$.

Voici la différence de pente ($\beta$ contre $\hat \beta$) entre la "population" en bleu et l'échantillon en points noirs isolés:

La ligne de régression est en pointillés et en noir, tandis que la ligne de "population" synthétiquement parfaite est en bleu uni. L'abondance de points fournit un sens tactile de la normalité de la distribution des résidus.

Le symbole "chapeau" dénote généralement une estimation, par opposition à la "vraie" valeur. Donc$\hat{\beta}$ est une estimation de $\beta$. Quelques symboles ont leurs propres conventions: la variance de l'échantillon, par exemple, est souvent écrite comme$s^2$, ne pas $\hat{\sigma}^2$, bien que certaines personnes utilisent les deux pour distinguer les estimations biaisées des estimations non biaisées.

Dans votre cas particulier, le $\hat{\beta}$les valeurs sont des estimations de paramètres pour un modèle linéaire. Le modèle linéaire suppose que la variable de résultat$Y$ est généré par une combinaison linéaire du $x_i$s, chacun pondéré par les $\beta_i$valeur. Dans la pratique, bien sûr, ces$\beta$les valeurs sont inconnues et peuvent même ne pas exister (peut-être que les données ne sont pas générées par un modèle linéaire). Néanmoins, nous pouvons estimer$\hat{\beta}$ les valeurs des données qui se rapprochent $Y$.

L'équation

$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$

est ce qu'on appelle le vrai modèle. Cette équation dit que la relation entre la variable$x$ et la variable $y$ peut être expliqué par une ligne $y = \beta_0 + \beta_1x$. Cependant, étant donné que les valeurs observées ne suivront jamais cette équation exacte (en raison d'erreurs), un$\epsilon_i$un terme d'erreur est ajouté pour indiquer les erreurs. Les erreurs peuvent être interprétées comme des écarts naturels par rapport à la relation$x$ et $y$. Ci-dessous, je montre deux paires de$x$ et $y$(les points noirs sont des données). En général, on peut voir que$x$ augmente $y$augmente. Pour les deux paires, la véritable équation est

$$y_i = 4 + 3x_i + \epsilon_i$$ mais les deux graphiques ont des erreurs différentes. Le tracé de gauche comporte de grandes erreurs et le tracé de droite de petites erreurs (car les points sont plus serrés). (Je connais la vraie équation parce que j'ai généré les données par moi-même. En général, on ne connaît jamais la vraie équation)

Regardons l'intrigue à gauche. La vérité$\beta_0 = 4$ et le vrai $\beta_1$= 3. Mais en pratique, lorsque des données sont fournies, nous ne connaissons pas la vérité. Nous estimons donc la vérité. Nous estimons$\beta_0$ avec $\hat{\beta}_0$ et $\beta_1$ avec $\hat{\beta}_1$. Selon les méthodes statistiques utilisées, les estimations peuvent être très différentes. Dans le cadre de la régression, les estimations sont obtenues via une méthode appelée les moindres carrés ordinaires. Ceci est également connu comme la méthode de ligne de meilleur ajustement. Fondamentalement, vous devez tracer la ligne qui correspond le mieux aux données. Je ne parle pas des formules ici, mais en utilisant la formule pour OLS, vous obtenez

$$\hat{\beta}_0 = 4.809 \quad \text{ and } \quad \hat{\beta}_1 = 2.889$$

et la ligne résultante de meilleur ajustement est,

Un exemple simple serait la relation entre les hauteurs des mères et des filles. Laisser$x =$ taille des mères et $y$= hauteurs des filles. Naturellement, on s'attendrait à ce que les mères plus grandes aient des filles plus grandes (en raison de la similitude génétique). Cependant, pensez-vous qu'une équation peut résumer exactement la taille d'une mère et d'une fille, de sorte que si je connais la taille de la mère, je pourrai prédire la taille exacte de la fille? Non. D'un autre côté, on pourrait résumer la relation avec l'aide d'un en moyenne énoncé .

TL DR: $\beta$est la vérité de la population. Il représente la relation inconnue entre$y$ et $x$. Comme nous ne pouvons pas toujours obtenir toutes les valeurs possibles de$y$ et $x$, nous collectons un échantillon de la population et essayons d' estimer $\beta$ en utilisant les données. $\hat{\beta}$est notre estimation. C'est une fonction des données.$\beta$n'est pas fonction des données, mais de la vérité.