Intervalle de prédiction de régression linéaire

Si la meilleure approximation linéaire (en utilisant les moindres carrés) de mes points de données est la ligne , comment puis-je calculer l'erreur d'approximation? Si je calcule l'écart type des différences entre les observations et les prédictions , puis-je dire plus tard qu'une valeur réelle (mais non observée) appartient à l'intervalle ( ) avec une probabilité ~ 68%, en supposant une distribution normale? $y=mx+b$ $e_i=real(x_i)-(mx_i+b)$ $y_r=real(x_0)$ $[y_p-\sigma, y_p+\sigma]$ $y_p=mx_0+b$

Clarifier:

J'ai fait des observations concernant une fonction en l'évaluant en quelques points . J'adapte ces observations à une ligne . Pour que je n'ai pas observé, j'aimerais savoir quelle taille peut . En utilisant la méthode ci-dessus, est-il correct de dire que avec prob. ~ 68%? $f(x)$ $x_i$ $l(x)=mx+b$ $x_0$ $f(x_0)-l(x_0)$ $f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

— bmx
source

Je pense que vous posez des questions sur les intervalles de prédiction. Notez cependant que vous utilisez "

" au lieu de "

". Est-ce une faute de frappe? Nous ne prédisons pas

x_{i}

$x_i$

y_{i}

$y_i$

x

$x$

— gung - Rétablir Monica

@gung: J'utilise

pour désigner par exemple le temps, et

la valeur d'une variable à ce moment, donc

signifie que j'ai fait une observation

au temps

. Je veux savoir dans quelle mesure les prédictions de la fonction d'ajustement peuvent être éloignées des valeurs réelles de y. Cela a-t-il du sens? La fonction

renvoie la valeur "correcte" de

, et mes points de données sont constitués de

x

$x$

y

$y$

y = f (x)

$y=f(x)$

y

$y$

x

$x$

r e a l (x_{i})

$real(x_i)$

y

$y$

x_{i}

$x_i$

(x_{i}, r e a l (x_{i}))

${(x_i, real(x_i))}$

— bmx

Cela semble parfaitement raisonnable. Les parties sur lesquelles je me concentre sont, par exemple, "

", généralement nous pensons que les erreurs / résidus dans un modèle reg sont "

". Le SD des résidus ne joue un rôle dans le calcul des intervalles de prédiction. C'est que "

e_{i} = r e a l (x_{i}) - (m x_{i} + b)

$e_i=real(x_i)-(mx_i+b)$

e_{i} = y_{i} - (m x_{i} + b)

$e_i=y_i-(mx_i+b)$

x_{i}

$x_i$ "c'est bizarre pour moi; je me demande si c'est une faute de frappe, ou si vous posez des questions sur quelque chose que je ne reconnais pas.

— gung - Reinstate Monica

Je pense que je vois; J'ai raté votre montage. Cela suggère que le système est parfaitement déterministe et si vous aviez accès à la fonction réelle sous-jacente, vous pourriez toujours prédire

parfaitement sans erreur. Ce n'est pas la façon dont nous pensons généralement aux modèles reg.

y_{i}

$y_i$

— gung - Réintégrer Monica

bmx, Il me semble que vous avez une idée claire de votre question et une bonne conscience de certains problèmes. Vous pourriez être intéressé à examiner trois sujets étroitement liés. stats.stackexchange.com/questions/17773 décrit les intervalles de prédiction en termes non techniques; stats.stackexchange.com/questions/26702 donne une description plus mathématique; et dans stats.stackexchange.com/questions/9131 , Rob Hyndman fournit la formule que vous recherchez. Si ceux-ci ne répondent pas entièrement à votre question, au moins ils peuvent vous donner une notation et un vocabulaire standard pour la clarifier.

— whuber

@whuber vous a indiqué trois bonnes réponses, mais je peux peut-être encore écrire quelque chose de valeur. Si je comprends bien, votre question explicite est la suivante:

Compte tenu de mon modèle $\hat y_i=\hat mx_i + \hat b$ (I préavis ajouté 'chapeaux') , et en supposant que mes résidus sont normalement distribués, , puis - je prédire qu'un encore réponse non observée, , avec une valeur de prédicteur connue, , va tomber dans l'intervalle $\mathcal N(0, \hat\sigma^2_e)$ $y_{new}$ $x_{new}$ , avec une probabilité de 68%? $(\hat y -\sigma_e, \hat y +\sigma_e)$

Intuitivement, la réponse semble être «oui», mais la vraie réponse est peut - être . Ce sera le cas lorsque les paramètres (ie, & ) sont connus et sans erreur. Puisque vous avez estimé ces paramètres, nous devons tenir compte de leur incertitude. $m, b,$ $\sigma$

Réfléchissons d'abord à l'écart type de vos résidus. Parce que cela est estimé à partir de vos données, il peut y avoir une erreur dans l'estimation. Par conséquent, la distribution que vous devez utiliser pour former votre intervalle de prédiction doit être une , pas la normale. Cependant, comme le converge rapidement vers la normale, cela est moins susceptible de poser problème en pratique. $t_\text{df error}$ $t$

Alors, peut - on utiliser juste , au lieu de , et aller sur notre bonhomme de chemin? Malheureusement non. Le plus gros problème est qu'il ya une incertitude au sujet de votre estimation de la moyenne conditionnelle de la réponse à cet endroit en raison de l'incertitude dans vos estimations & . Ainsi, $\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$ $\hat y_\text{new}\pm z_{(1-\alpha/2)}s$ $\hat m$ $\hat b$ l'écart - type de vos prédictions doit intégrer plus que $s_\text{error}$ . Étant donné que les écarts ajoutent , la variance estimée des prévisions sera: Notez que le « » est indicé pour représenter la valeur spécifique pour la observation, et que le " " est corrigé en conséquence. Autrement dit, votre intervalle de prédiction dépend de l'emplacement de la nouvelle observation le long du

s_{prédictions (nouveau)}^{2} = s_{Erreur}^{2} + Var (\hat{m} X_{Nouveau} + \hat{b})

$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$

x

$x$

s^{2}

$s^2$

x

$x$ axe. L'écart type de vos prévisions peut être estimé plus facilement avec la formule suivante:

Comme note

intéressante, nous pouvons déduire quelques faits sur les intervalles de prédiction à partir de cette équation. Tout d' abord,intervalles de prévision seront plus étroitedonnéesnous avions lorsque nous avons construit le modèle de prévision (car il y a moinsincertitude dans

). Deuxièmement, les prévisions seront plus précises si elles sont faites à la moyenne desvaleurs

vous avez utilisées pour développer votre modèle, car le numérateur pour le troisième terme sera

. La raison en est que dans des circonstances normales, il n'y a aucune incertitude sur la pente estimée à la moyenne de

s_{prédictions (nouveau)} = \sqrt{s_{Erreur}^{2} (1 + \frac{1}{N} + \frac{(X_{Nouveau} - \bar{X})^{2}}{\sum (X_{je} - \bar{X})^{2}})}

$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$

\hat{m}

$\hat m$

\hat{b}

$\hat b$

x

$x$

0

$0$

x

$x$ , seulement une certaine incertitude sur la véritable position verticale de la droite de régression. Ainsi, certaines leçons à tirer pour construire des modèles de prédiction sont: que plus de données sont utiles, non pas pour trouver la «signification», mais pour améliorer la précision des prédictions futures; et que vous devez centrer vos efforts de collecte de données sur l'intervalle où vous devrez faire des prédictions à l'avenir (pour minimiser ce numérateur), mais diffuser les observations aussi largement que possible à partir de ce centre (pour maximiser ce dénominateur).

Après avoir calculé la valeur correcte de cette manière, nous pouvons ensuite l'utiliser avec la distribution appropriée comme indiqué ci-dessus. $t$

— gung - Réintégrer Monica
source