Régression par l'origine

Nous avons les points suivants: Comment trouver la meilleure droite d'ajustement travers les points? Ma calculatrice a la possibilité de trouver la meilleure ligne d'ajustement travers ces points, qui est:

(0, 0) (1, 51.8) (1.9, 101.3) (2.8, 148.4) (3.7, 201.5) (4.7, 251.1) (5.6, 302.3) (6.6, 350.9) (7.5, 397.1) (8.5, 452.5) (9.3, 496.3)

$(0,0)(1,51.8)(1.9,101.3)(2.8,148.4)(3.7,201.5)(4.7,251.1) \\ (5.6,302.3)(6.6,350.9)(7.5,397.1)(8.5,452.5)(9.3,496.3)$

y = a x

$y=ax$

y = a x + b

$y=ax+b$

y = 53.28 x + 0.37

$y = 53.28x + 0.37$

Comment puis-je trouver le meilleur ajustement ? Il me semble que nous ne pouvons pas simplement supprimer le sans compenser le ? $y=ax$ $0.37$ $a$

regression intercept

— EdwardHarrison
source

Y a-t-il une raison pour laquelle vous le souhaitez? La suppression de l'ordonnée à l'origine conduit à un modèle biaisé, sauf si l'ordonnée à l'origine est exactement de zéro à des décimales infinies. Même alors, vous ne gagnez pas beaucoup d'efficacité.

— gung - Réintégrer Monica

Ce sont les résultats d'une expérience physique. S'il a une ordonnée à l'origine, cela conduirait à des choses complètement incorrectes.

— EdwardHarrison

@gung Cela voudrait-il dire que nous supprimons simplement le ?

0.37

$0.37$

— EdwardHarrison

"Supprimer l'interception" ne signifie pas simplement supprimer l'estimation de votre modèle, cela signifie ajuster un modèle via une formule différente qui contraint la ligne à passer par l'origine.

— gung - Rétablir Monica

"expérience physique. [...] l'ordonnée à l'origine [...] conduirait à des choses complètement incorrectes." Mais si les données expérimentales indiquent une interception (btw, vous pouvez vérifier si l'intervalle de confiance pour la ligne couvre l'origine), cela me ferait réfléchir très dur d' où vient l'interception. Je suis chimiste analytique. En chimie analytique, nous avons également un tas de relations qui devraient être linéaires sans interception. Mais ils ne le sont presque jamais dans la pratique, à cause des petits détails des instruments et des mesures. Ainsi, nous considérons généralement la suppression de l'interception comme une très mauvaise idée.

— cbeleites mécontents de SX

Réponses:

L' estimation des moindres carrés ordinaires de la pente lorsque l'interception est supprimée est:

\hat{β} = \frac{\sum_{i = 1}^{N} x_{i} y_{i}}{\sum_{i = 1}^{N} x_{i}^{2}}

$\hat{\beta}=\frac{\sum_{i=1}^N x_iy_i}{\sum_{i=1}^N x_i^2}$

— gung - Réintégrer Monica
source

@gung a donné l'estimation OLS. C'est ce que tu cherchais.

Cependant, lorsqu'il s'agit de quantités physiques où la ligne doit passer par l'origine, il est courant que l'échelle de l'erreur varie avec les valeurs x (pour avoir, en gros, une erreur relative constante ). Dans cette situation, les moindres carrés ordinaires non pondérés seraient inappropriés.

Dans cette situation, une approche (parmi plusieurs possibilités) serait de prendre des journaux, de soustraire les x des y et d'estimer la pente logarithmique (des variables d'origine) par la moyenne des différences.

Alternativement, les moindres carrés pondérés pourraient être utilisés. En cas d'erreur relative constante, cela reviendrait à utiliser l'estimateur $\hat{\beta}=\frac{1}{N}\sum_{i=1}^N \frac{y_i}{x_i}$ (la moyenne de toutes les pentes à travers l'origine).

Il existe d'autres approches (GLM par exemple), mais si vous le faites sur une calculatrice, je pencherais pour ma première suggestion.

Vous devez également considérer la pertinence de toutes les hypothèses que vous faites.

J'ai pensé qu'il pourrait être instructif d'ajouter la dérivation de la ligne WLS à travers l'origine et ensuite ma "moyenne des pentes" et les gungs OLS sont des cas particuliers:

Le modèle est $y_i=\beta x_i+\varepsilon_i\,,$ où $\text{Var}(\varepsilon_i)=w_i\sigma^2$

Nous voulons minimiser $S = \sum_i w_i(y_i-\beta x_i)^2$

$\frac{\partial S}{\partial \beta} = -\sum_i 2x_i.w_i(y_i-\beta x_i)$

Réglage égal à zéro pour obtenir la solution LS $\hat{\beta}$ on obtient $\sum w_ix_iy_i = \hat{\beta} \sum w_ix_i^2$ , ou $\hat{\beta}=\frac{\sum w_ix_iy_i}{\sum w_ix_i^2}$ .

Quand $w_i\propto 1$ pour tous $i$ , cela donne la solution OLS de gung.

Quand $w_i \propto 1/x_i^2$ (ce qui est optimal dans le cas où l'écart augmente avec la moyenne), cela donne la solution de "moyenne des pentes" ci-dessus.

— Glen_b -Reinstate Monica
source